[Παράλληλα και Διανεμημένα Συστήματα] Εργασία 4 - 2017

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Πληροφορίες Καθηγητών]

Πληροφορίες Καθηγητών

[Apostolof]

Έχω το εξής πρόβλημα, ενώ τρέχει σωστά και οι τιμές του pagerank συμφωνούν με αυτές από άλλους κώδικες που βρήκα, μετά από κάποιο σημείο το δ σταματάει να πέφτει και η λούπα δε τελειώνει ποτέ (τουλάχιστον μέχρι μερικές χιλιάδες που το άφησα). Παίζει να βάζω πολύ μικρό αριθμό στο κριτήριο σύγκλισης;
Αν έτρεξε κανείς για τα datasets του Stanford ας δώσει μια βοήθεια. Πχ για το web-google, πόσα iterations θέλει για να συγκλίνει (και με τι κριτήριο σύγκλισης και α);

Επίσης τo pagerank πρέπει να το τρέχουμε σε φάσεις; Αυτό που λέει στη σημείωση για το misconvergence εννοώ. Εσείς το υλοποιήσατε;

Άντε μια βοήθεια μπας και το σώσουμε...

[zoodoo]

Έχω το εξής πρόβλημα, ενώ τρέχει σωστά και οι τιμές του pagerank συμφωνούν με αυτές από άλλους κώδικες που βρήκα, μετά από κάποιο σημείο το δ σταματάει να πέφτει και η λούπα δε τελειώνει ποτέ (τουλάχιστον μέχρι μερικές χιλιάδες που το άφησα). Παίζει να βάζω πολύ μικρό αριθμό στο κριτήριο σύγκλισης;
Αν έτρεξε κανείς για τα datasets του Stanford ας δώσει μια βοήθεια. Πχ για το web-google, πόσα iterations θέλει για να συγκλίνει (και με τι κριτήριο σύγκλισης και α);

Επίσης τo pagerank πρέπει να το τρέχουμε σε φάσεις; Αυτό που λέει στη σημείωση για το misconvergence εννοώ. Εσείς το υλοποιήσατε;

Άντε μια βοήθεια μπας και το σώσουμε...

Νομίζω ότι ως κριτήριο σύγκλισης είναι καλύτερο αυτό που αναφέρει στο paper: xi of page i has converged when |xi(k+1)-xi(k)|/|xi(k)|<10^-3, δηλαδή να μη ξαναυπολογίζεται το pagerank της σελίδας i αν είναι πολύ μικρή η διαφορά xi(k+1)-xi(k) γιατί δεν έχει και πολύ νόημα και έτσι γλιτώνεις πολλούς υπολογισμούς. Εγώ φτιάχνω έναν vector int iters[1xNODES], το αρχικοποιώ με μηδενικά και όταν ισχύει το κριτήριο σύγκλισης για κάποιο node i, αποθηκεύω τον αριθμό των iterations που έχουν γίνει στην θέση iters [ i ].  
Σε κάθε επανάληψη κάνω πρωτα έλεγχο αν το iters [ i ] είναι 0 ή όχι και αν δεν είναι, κάνω continue χωρίς υπολογισμούς. Με αυτό τον τρόπο κρατάς και τον αριθμό των iterations που χρειάστηκε η κάθε σελίδα.

Tην αναπαράσταση του sparse matrix την κάνεις με CSR; Ή με κάποιον άλλο τρόπο; Ή φτιάχνεις τον P; Ή τον P'; Έγω φτιάχνω τον P και τον χρησιμοποιώ κατευθείαν στην σχέση αλλά σίγουρα δεν θα δουλεύει για μεγάλα datasets με τόσα πολλά calloc  .

[Apostolof]

Νομίζω ότι ως κριτήριο σύγκλισης είναι καλύτερο αυτό που αναφέρει στο paper: xi of page i has converged when |xi(k+1)-xi(k)|/|xi(k)|<10^-3, δηλαδή να μη ξαναυπολογίζεται το pagerank της σελίδας i αν είναι πολύ μικρή η διαφορά xi(k+1)-xi(k) γιατί δεν έχει και πολύ νόημα και έτσι γλιτώνεις πολλούς υπολογισμούς. Εγώ φτιάχνω έναν vector int iters[1xNODES], το αρχικοποιώ με μηδενικά και όταν ισχύει το κριτήριο σύγκλισης για κάποιο node i, αποθηκεύω τον αριθμό των iterations που έχουν γίνει στην θέση iters [ i ].  
Σε κάθε επανάληψη κάνω πρωτα έλεγχο αν το iters [ i ] είναι 0 ή όχι και αν δεν είναι, κάνω continue χωρίς υπολογισμούς. Με αυτό τον τρόπο κρατάς και τον αριθμό των iterations που χρειάστηκε η κάθε σελίδα.

Tην αναπαράσταση του sparse matrix την κάνεις με CSR; Ή με κάποιον άλλο τρόπο; Ή φτιάχνεις τον P; Ή τον P'; Έγω φτιάχνω τον P και τον χρησιμοποιώ κατευθείαν στην σχέση αλλά σίγουρα δεν θα δουλεύει για μεγάλα datasets με τόσα πολλά calloc  .

Στο δ δεν έχει τον παρονομαστή που έγραψες |xi(k)| στο pdf που ακολουθώ, ελπίζω να είναι αυτό γιατί είναι απλή η λύση. Πάντως εγώ δοκίμαζα με δ της τάξης 10^-6, οπότε ίσως είναι και αυτό.

Κάτι παρόμοιο κάνω και εγώ με αυτό που περιγράφεις για τη σύγκλιση, αλλά κρατάω μόνο έναν bool αντί για τον αριθμό των iterations. Το δικό σου είναι καλύτερο, ίσως το κλέψω

Φτιάχνω τον P'. Και έχω και έναν άλλο sparse που είναι ο A_CN.
Τον P' τον φτιάχνω σαν απλό COO αρχικά για να διαβάσω το αρχείο, κάνω το transpose και μετά τον μετατρέπω σε CSR (όλα αυτά στην αρχή, πριν τα iterations).
Τον άλλο τον έχω COO, έχει από την αρχή το μέγιστο μέγεθος (number_of_edges) για να μη γίνονται reallocs. Αρχικά έχει 0 σε όλα και καθώς προστίθενται στοιχεία αυξάνει μία μεταβλητή size.

[Argirios]

Έχουν ανοίξει οι αξιολογήσεις για την τέταρτη εργασία Σεπτεμβρίου.