[Παράλληλα και Διανεμημένα Συστ.] Εργασια 4

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Πληροφορίες Καθηγητών]

Πληροφορίες Καθηγητών

[kaspas]

H παράδοση των εργασιών παίρνει παράταση έως και την Δευτέρα 2 Οκτωβρίου, στις 11:59μμ.

2 μερούλες έξτρα

[kaspas]

Παιδιά έχει άλλος θέμα με τα error του δικτύου;
Εννοώ άλλες φορές φαίνεται να μαθαίνει (450-500 error στα 10k) και άλλες όχι 2k errors πχ( για ίδιο πάντα μέγεθος 784 x 500 x 10). Το έχει συναντήσει κανείς άλλος αυτό;

[Terzos]

Παιδιά έχει άλλος θέμα με τα error του δικτύου;
Εννοώ άλλες φορές φαίνεται να μαθαίνει (450-500 error στα 10k) και άλλες όχι 2k errors πχ( για ίδιο πάντα μέγεθος 784 x 500 x 10). Το έχει συναντήσει κανείς άλλος αυτό;

Το πάθαινα συχνά όταν έβαζα αρχικά βάρη με ομοιόμορφη και όχι κανονική κατανομή

(edit: για μέγεθος 784x15x10)

[kaspas]

Και πως μπαίνει κανονική κατανομή ;

Τελικά όντως παίζει πάρα πολύ η κατανομή που παίρνεις και η sigmoid
μερικά approximations here https://stackoverflow.com/questions/10732027/fast-sigmoid-algorithm

[Ροζ συννεφάκι]

Παίζουν δηλαδή ρόλο οι τιμές που θα δώσεις στα βάρη στην αρχή για το αν θα μαθαίνει και όχι μόνο για το πόσο γρήγορα; Δηλαδή αν βάλεις τελείως random τιμές το πιο πιθανό είναι να μη μαθαίνει;

Επίσης σύγκρινε κανείς υλοποίηση μόνο με pthreads και με pthreads-cuda? Οι χρόνοι πώς σας βγαίνουν;

[kaspas]

δεν τρέχω με pthreads δεν έχει και πολύ νόημα στο λαπτοπ μου. Νομίζω παίζουν ρόλο τώρα αυτό βλέπω στο δικό μου κώδικα δεν ξέρω αν ισχύει γενικά. Εμένα κάνει 170 sec (3 επαναλήψεις) για 784x500x10, είναι λίγο χάλια η υλοποίηση μου...

[Ροζ συννεφάκι]

αν μπορείς κάποια αναλογία με το σειριακό;;

[kaspas]

στο 500hidden x0.9(πιο γρήγορο δλδ το σειριακό) ίσως και λιγότερο ... Στα 700 hidden ~1.2, Σε δίκτυο 784x2500x2000x1500x1000x500x10 2.4 επιτάχυνση ...

[isaakthan]

Καλησπέρα. Παιδιά μπορείτε να μου πείτε λίγο τι χρησιμοποιείτε για σειριακό για να κάνω ένα sanity check;

[fibonacci]

μπορεί να πει κάποιος ποια κομμάτια του αλγορίθμου του backpropagation  έχει παραλληποιήσει ;  και αν κέρδισε σε χρόνο από αυτό ; ... επίσης μπορεί να προτείνει κανείς κάποια λύση για γρηγορότερη σύγκλιση του έρρορ στο 0 γιατί έχω κάνει πολλές δοκιμές και διάφορες τιμές των παραμέτρων διόρθωσης του δικτύο και πάντα αργεί πάρα πολύ να μειωθεί

Ευχαριστώ
 

[ReMi0s]

Προσπαθούμε εδώ και ώρα να κάνουμε compile το κομμάτι της cuda ( που είναι στο αρχείο bpnet.cpp) μαζί με το κομμάτι των pthreads. Ωστόσο ότι και να έχουμε δοκιμάσει έχει αποτύχει..
Έχει κανείς ιδέα πως θα συνδιαστούν nvcc για την Cuda και g++ για τα PthreadS?
Ευχαριστώ.

[Aristos]

το πιο απλό είναι να αφήσεις τον nvcc να κάνει τα πάντα. αυτός καλεί τον g++ εσωτερικά ετσι και αλλιώς. εγώ έτσι το έκανα με αρχεία C. φαντάζομαι δε θα έχει διαφορά

[Terzos]

Προσπαθούμε εδώ και ώρα να κάνουμε compile το κομμάτι της cuda ( που είναι στο αρχείο bpnet.cpp) μαζί με το κομμάτι των pthreads. Ωστόσο ότι και να έχουμε δοκιμάσει έχει αποτύχει..
Έχει κανείς ιδέα πως θα συνδιαστούν nvcc για την Cuda και g++ για τα PthreadS?
Ευχαριστώ.

Νομίζω πρέπει όλα τα αρχεία να έχουν extention .cu και compile με nvcc. Επίσης δείτε τα flags φάση: -lm -lpthreads.

[Terzos]

μπορεί να πει κάποιος ποια κομμάτια του αλγορίθμου του backpropagation  έχει παραλληποιήσει ;  και αν κέρδισε σε χρόνο από αυτό ; ... επίσης μπορεί να προτείνει κανείς κάποια λύση για γρηγορότερη σύγκλιση του έρρορ στο 0 γιατί έχω κάνει πολλές δοκιμές και διάφορες τιμές των παραμέτρων διόρθωσης του δικτύο και πάντα αργεί πάρα πολύ να μειωθεί

Ευχαριστώ
 

Η δικιά μου προσέγγιση ήταν ουσιαστικά να παραλληλοποιήσω τις πράξεις πινάκων που γίνονται τόσο κατά το feed-forward όσο και για το feed-backward.

[ReMi0s]

το πιο απλό είναι να αφήσεις τον nvcc να κάνει τα πάντα. αυτός καλεί τον g++ εσωτερικά ετσι και αλλιώς. εγώ έτσι το έκανα με αρχεία C. φαντάζομαι δε θα έχει διαφορά

Το βρήκαμε τελικά. Όντως ήθελε αυτό το πράγμα απλά για κάποιον λόγο όταν υπήρχε η παράμετρος - lm το πέθαινε στα error.
Ευχαριστώ πάντως για την βοήθεια