THMMY.gr

Η  4η  εργασία  έχει  ανακοινωθεί  στο  Περιεχόμενα/Ασκήσει�

έχει δει κανείς τα δύο θέματα της εργασίας;
το δεύτερο link οδηγεί στο να κατεβάσουμε ένα pdf επί πληρωμή.
ξέρει κανείς που αλλού μπορούμε να το βρούμε;

Όντως βλέπω βγάζει επί πληρωμής . Θυμάμαι όμως ότι το είχα δει. Δοκίμασε να μπεις από το ίντερνετ του ΑΠΘ. Νομίζω όταν το είχα ανοίξει πάνω στην σελίδα εμφάνιζε το πανεπιστήμιο.

s7c1i2h3u4b5 αφαιρέστε τους αριθμούς ρε αλάνια!

οκκ, θα το δοκιμασω !! ευχαριστω :)

ποιο θεμα σκεφτεστε να παρετε απο τα 2;

έχει αναφερθεί φέτος οτι μπορούμε να την στείλουμε και σεπτέμβρη;

Έτσι είχε πει ο Πιτσιάνης στην τάξη. Επειδή η 4η εργασία αντικαθιστά την εξέταση μπορεί να σταλεί και το Σεπτέμβριο σε αντίθεση με την 3η που δεν υπήρχε αυτή η δυνατότητα. Τώρα, τι να σου πω, δε νομίζω να έχει αλλάξει γνώμη από τότε!

Παιδιά πως ανοίγουμε την 2η πρόταση; μου τα βγάζει κλειδωμένα (δεν είμαι θεσ/νικη για να μπω από το απθ)

Μπορείς είτε να φτιάξεις ένα vpn για να χρησιμοποιήσεις την ip πανεπιστημίου είτε για ποιο ευκολία να μπεις με την υπηρεσία remote desktop που έχει το πανεπιστήμιο.

Εδώ μπορείς να βρείς οδηγίες:
https://it.auth.gr/el/netAccess/VPN
https://it.auth.gr/el/tsconnection
(Αν εχεις ubuntu μπορεις να χρησιμοποιησεις το remmina για remote desktop client)

Έχει ασχοληθεί κανένας με την εκπαίδευση νευρωνικού και να έχει βγάλει κάποιους χρόνους;
Η μία εποχή εκπαίδευσης για 20000 δείγματα του MNIST με μέγεθος δικτύου 784x15x10 μου παίρνει περίπου μισό λεπτό χωρίς το τελικό άθροισμα των παραγώγων.
Βγάζετε παρόμοιους χρόνους ή θα πρέπει να ξεκινήσω από την αρχή;  :-\

Υπάρχουν παιδιά πουθενά οι σειριακοί αλγόριθμοι(σε C) ή πρέπει να το γράψουμε όλο απ την αρχή;

Υπάρχει κανείς που ενδιαφέρεται να κάνουμε ομάδα για την τέταρτη εργασία; Ας μου στείλει μήνυμα.

αντιμετωπίζω το εξής πρόβλημα. πιστεύω έχω υλοποιήσει τον αλγόριθμο σωστά αλλά το δίκτυο φαίνεται να μην μαθαίνει με τίποτα. το περίεργο είναι πως όταν ΔΕΝ ανανεώνεται ο τελευταίος πίνακας βαρών, τότε το δίκτυο μαθαίνει. όχι πολύ καλά γιατί σκαλώνει κάπου στο 86-87% σωστά για 784x200x10

@Terzos πολύ ακούγεται. εμένα για αυτό το μέγεθος θέλει 1.46 δευτερόλεπτα περίπου για 60.000 δείγματα (επίσης από MNIST). υπάρχει βέβαια και το ενδεχόμενο να έχω κάποιο λάθος (μιλώντας για το σειριακό πάντα)

Γιατί 784x200x10? Πολύ μεγάλο δίκτυο μου φαίνεται αυτό. Πάνω σε τι προσπαθείς να εκπαιδεύσεις το δίκτυο;

Πότε πρέπει να την παραδώσουμε;

Τέλος εξεταστικής μου είπε ο Φλώρος

Στα δεδομένα του MNIST ( http://yann.lecun.com/exdb/mnist/ ). Ίσως να είναι μεγαλύτερο από όντως χρειάζεται αλλά ο στόχος είναι έτσι και αλλιώς να γίνεται γρήγορα ο αλγόριθμος. δε νομίζω να μας ενδιαφέρουν ιδιαίτερα τα αποτελέσματα πέρα από την επιβεβαίωση πως ο αλγόριθμος εξακολουθεί να είναι σωστός. Ειδικά η CUDA, σε τέτοια μεγέθη είναι που λάμπει

Έχω κάνει ένα threadpool όπου το κάθε thread τρέχει ένα sample του training set.
Τις εισόδους του NN τις έχω περάσει στην GPU και έχουν περάσει σωστά.
Όταν όμως το thread προσπαθεί να διαβάσει την δεύτερη είσοδο παίρνω: CUDA Error: an illegal memory access was encountered
Τσέκαρα τις διεθύνσεις των pointer και είναι σωστές (0x602f80000 και 0x602f80c40 δλδ η προηγούμενη + 784*4)
Στην main διαβάζει κανονικά τις εισόδους από την GPU.
Ξέρει κανείς περί τίνος πρόκειται; Βοήθεια  ^banghead^

Παίζει να μας δώσει παράταση μετά την εξεταστική;

συμφωνω να ζητησουμε, αν υπαρχει λαος  :D

Άντε να οργανωνόμαστε  :D Έγω έστειλα ήδη email για παράταση

Υπάρχει λαός υπάρχει  8))

να αρχισουμε να στελνουμε;

γιατί όχι?  :P

Done by me  8))

Οσοι θέλουν να πάρουν παράταση πρέπει να στείλουμε email να δεί οτι υπάρχει λαός γιατι και εγώ που του έστειλα μου ειπε οτι :

Δεν ξέρω αν θα μπορέσουμε γιατί πρέπει να ετοιμάσουμε νέο μάθημα ξανά τον Οκτώβριο.
Να τελειώσετε το συντομότερο δυνατό.

Οπότε στείλτε γιατι δεν μας βλέπω καλά!!!! :D :D

Και μένα το ίδιο μου απάντησε...

Ρε παιδιά καμιά ιδέα για το που χρησιμεύουν τα pthreads? Έκανα τον κώδικα με CUDA και δεν μπορώ να κολλήσω κάπου τα pthreads!

+1

Το πιο απλό να κάνεις split τα samples πχ σε 4 thread.
Στην cuda τι λογική ακολουθήσατε; Εγώ πήγα να κάνω kernel σε επίπεδο layer και βγαίνει πιο αργός από μόνο pthreads...

Εγώ έκανα όλη τη διαδικασία σε CUDA, οπότε δεν έχει νόημα να σπάσω τα samples π.χ. σε 4 threads. Θα βγει πιο αργό...

2 μερούλες έξτρα

Παιδιά έχει άλλος θέμα με τα error του δικτύου;
Εννοώ άλλες φορές φαίνεται να μαθαίνει (450-500 error στα 10k) και άλλες όχι 2k errors πχ( για ίδιο πάντα μέγεθος 784 x 500 x 10). Το έχει συναντήσει κανείς άλλος αυτό;

Το πάθαινα συχνά όταν έβαζα αρχικά βάρη με ομοιόμορφη και όχι κανονική κατανομή

(edit: για μέγεθος 784x15x10)

Και πως μπαίνει κανονική κατανομή ; :P

Τελικά όντως παίζει πάρα πολύ η κατανομή που παίρνεις και η sigmoid
μερικά approximations here https://stackoverflow.com/questions/10732027/fast-sigmoid-algorithm

Παίζουν δηλαδή ρόλο οι τιμές που θα δώσεις στα βάρη στην αρχή για το αν θα μαθαίνει και όχι μόνο για το πόσο γρήγορα; Δηλαδή αν βάλεις τελείως random τιμές το πιο πιθανό είναι να μη μαθαίνει;

Επίσης σύγκρινε κανείς υλοποίηση μόνο με pthreads και με pthreads-cuda? Οι χρόνοι πώς σας βγαίνουν;

δεν τρέχω με pthreads δεν έχει και πολύ νόημα στο λαπτοπ μου. Νομίζω παίζουν ρόλο τώρα αυτό βλέπω στο δικό μου κώδικα δεν ξέρω αν ισχύει γενικά. Εμένα κάνει 170 sec (3 επαναλήψεις) για 784x500x10, είναι λίγο χάλια η υλοποίηση μου...

αν μπορείς κάποια αναλογία με το σειριακό;;

στο 500hidden x0.9(πιο γρήγορο δλδ το σειριακό) ίσως και λιγότερο ... Στα 700 hidden ~1.2, Σε δίκτυο 784x2500x2000x1500x1000x500x10 2.4 επιτάχυνση ...

Καλησπέρα. Παιδιά μπορείτε να μου πείτε λίγο τι χρησιμοποιείτε για σειριακό για να κάνω ένα sanity check;

μπορεί να πει κάποιος ποια κομμάτια του αλγορίθμου του backpropagation  έχει παραλληποιήσει ;  και αν κέρδισε σε χρόνο από αυτό ; ... επίσης μπορεί να προτείνει κανείς κάποια λύση για γρηγορότερη σύγκλιση του έρρορ στο 0 γιατί έχω κάνει πολλές δοκιμές και διάφορες τιμές των παραμέτρων διόρθωσης του δικτύο και πάντα αργεί πάρα πολύ να μειωθεί

Ευχαριστώ
 

Προσπαθούμε εδώ και ώρα να κάνουμε compile το κομμάτι της cuda ( που είναι στο αρχείο bpnet.cpp) μαζί με το κομμάτι των pthreads. Ωστόσο ότι και να έχουμε δοκιμάσει έχει αποτύχει..
Έχει κανείς ιδέα πως θα συνδιαστούν nvcc για την Cuda και g++ για τα PthreadS?
Ευχαριστώ.

το πιο απλό είναι να αφήσεις τον nvcc να κάνει τα πάντα. αυτός καλεί τον g++ εσωτερικά ετσι και αλλιώς. εγώ έτσι το έκανα με αρχεία C. φαντάζομαι δε θα έχει διαφορά

Νομίζω πρέπει όλα τα αρχεία να έχουν extention .cu και compile με nvcc. Επίσης δείτε τα flags φάση: -lm -lpthreads.

Η δικιά μου προσέγγιση ήταν ουσιαστικά να παραλληλοποιήσω τις πράξεις πινάκων που γίνονται τόσο κατά το feed-forward όσο και για το feed-backward.

Το βρήκαμε τελικά. Όντως ήθελε αυτό το πράγμα απλά για κάποιον λόγο όταν υπήρχε η παράμετρος - lm το πέθαινε στα error.
Ευχαριστώ πάντως για την βοήθεια

στον διάδη τρέχετε cuda κανονικά?

δεν έχω καταφέρει να τρέξω στον διάδη.

Μήπως έστειλε κάποιος μήνυμα στο Φλώρο σχετικά με τον Διάδη;

Έστειλα έγω και απάντησε τα εξής:

Καλησπέρα.

Έκανα επανεκκίνηση σήμερα το μεσημέρι.

Πρέπει να συνεννοείστε μεταξύ σας για να μην έχετε τέτοια προβλήματα.

εχασε κανεις το deadline στο elearning?

τι εννοείς έχασε;

χολυ σιτ
 ^wav^ ^wav^

Σκωτσεζικά ντούζ τώρα στα γεράματα με αυτή τη σχολή. Εμπειρία λαιμαι  :D