[Παράλληλα και Διανεμημένα Συστ.] Εργασία 4

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Πληροφορίες Καθηγητών]

Πληροφορίες Καθηγητών

[Exomag]

Topic που αφορά την 4^η εργασία του μαθήματος. Stay on topic!

[lindou]

Υπάρχει περιπτωση να παρει παράταση η εργασία;

[TrueForce]

ναι μεχρι τον σεπτεμβρη

[Exomag]

Η διορία στις 02/03/2015 είναι για όποιον θέλει να πάρει βαθμό στο μάθημα αυτό το εξάμηνο. Αλλιώς, η εργασία μπορεί να παραδοθεί μέχρι και τον Σεπτέμβριο, για να περαστεί τότε ο βαθμός.

[TTL]

παιδια εριξα μια ματια στα θεματα και μου φανηκε πολυ ενδιαφερον το deep learning. Διαβασα λοιπον κάποια άρθρα είδα μερικα Tytorials κτλπ....
Και κατέληξα ότι ειναι ΤΕΛΕΙΩΣ αδυνατο να υλοποιηθεί για τους εξής λόγους:
1) τα νευρωνικα δίκτυα είναι απο μόνα τους ενα δυσνόητο θέμα με το οποίο ερχόμαστε σε επαφή το 9ο εξάμηνο και όχι στο 7ο που διδάσκεται το μάθημα

2) ακόμα και αν καταλάβεις τη θεωρία ειναι σχετικά απλό να υλοποιηθεί σε matlab αλλά πάρα πολύ σύνθετο σε c που μας ζητάει. Ότι κώδικα και να βρήκα σε c ήταν τόσο δυσνόητος που αν δε μου λέγαν ότι ειναι c θα θέλα κανα μισάωρο να το καταλάβω.

3) ακόμα και να μπορέσεις να φτιάξεις νευρωνικό σε c ( που το θεωρώ απίθανο ) όλα τα deep learning άρθρα αναφέρουν κάποιες γενικές αρχές ή ιδέες για την παραλληλοποίηση και όχι κώδικα. Ελάχιστο κώδικα βρήκα μονο σε Python που χρησιμοποιεί πακέτα λογισμικού πολύ υψηλού επιπέδου που εννοείται ούτε για πλάκα δεν υπάρχει σε βιβλιοθήκη της c.

Εν τέλει, είναι όντως τρελό αυτό που ζητείται, ή μόνο εγώ ειμαι άχρηστος;

[jimPster]

http://www.gputechconf.com/

πεταξου και πες μας τι ειπαν

edit : προφανως αυτο το θεμα ειναι δυσανολογο σε σχεση με τα αλλα
 ειναι up to date ομως (ενας λογος που δεν θα βρεις και κωδικες)

[ValmadiaN]

παιδια εριξα μια ματια στα θεματα και μου φανηκε πολυ ενδιαφερον το deep learning. Διαβασα λοιπον κάποια άρθρα είδα μερικα Tytorials κτλπ....
Και κατέληξα ότι ειναι ΤΕΛΕΙΩΣ αδυνατο να υλοποιηθεί για τους εξής λόγους:
1) τα νευρωνικα δίκτυα είναι απο μόνα τους ενα δυσνόητο θέμα με το οποίο ερχόμαστε σε επαφή το 9ο εξάμηνο και όχι στο 7ο που διδάσκεται το μάθημα

2) ακόμα και αν καταλάβεις τη θεωρία ειναι σχετικά απλό να υλοποιηθεί σε matlab αλλά πάρα πολύ σύνθετο σε c που μας ζητάει. Ότι κώδικα και να βρήκα σε c ήταν τόσο δυσνόητος που αν δε μου λέγαν ότι ειναι c θα θέλα κανα μισάωρο να το καταλάβω.

3) ακόμα και να μπορέσεις να φτιάξεις νευρωνικό σε c ( που το θεωρώ απίθανο ) όλα τα deep learning άρθρα αναφέρουν κάποιες γενικές αρχές ή ιδέες για την παραλληλοποίηση και όχι κώδικα. Ελάχιστο κώδικα βρήκα μονο σε Python που χρησιμοποιεί πακέτα λογισμικού πολύ υψηλού επιπέδου που εννοείται ούτε για πλάκα δεν υπάρχει σε βιβλιοθήκη της c.

Εν τέλει, είναι όντως τρελό αυτό που ζητείται, ή μόνο εγώ ειμαι άχρηστος;

Είναι όντως πολύ ενδιαφέρον θέμα και, από διάφορα άρθρα που έχω διαβάσει, μπορώ να πω ότι τα νευρωνικά δίκτυα
είναι πολλά υποσχόμενοι αλγόριθμοι.

Επειδή επέλεξα το συγκεκριμένο θέμα στο μάθημα πέρυσι μπορώ να πω τα παρακάτω από τη δική μου εμπειρία:

Ασχολήθηκα σχεδόν 1.5 μήνα, από τις αρχές του Αυγούστου μέχρι τα μέσα του Σεπτέμβρη. Δούλεψα σε C++ και
χρησιμοποίησα CUDA και MPI για να τρέξω στις 4 GPUs στις οποίες σου δίνουν πρόσβαση από το μάθημα.

Ο κώδικας που προέκυψε δεν είναι για κανένα λόγο βέλτιστος. Για παράδειγμα, υλοποίησα πολλαπλασιασμούς πινάκων μόνος μου, ενώ θα μπορούσα να έχω χρησιμοποιήσει μία από τις βιβλιοθήκες που υπάρχουν για τον σκοπό αυτό όπως η CUBLAS (γραμμική άλγεβρα σε GPU).

Η μόνη γνώση που είχα για τα νευρωνικά δίκτυα πριν ξεκινήσω την εργασία ήταν τα όσα λέγονται στο μάθημα του
Coursera [1] που είχα παρακολουθήσει. Εξαιρετικά χρήσιμο μου είχε φανεί και το άρθρο [2] το οποίο είχα χρησιμοποιήσει ως μέτρο σύγκρισης για τα αποτελέσματά μου. Επίσης, υπάρχει κι αυτή η ιστοσελίδα [3] στην οποία μπορείς να βρεις αρκετά σετ δεδομένων πάνω στα οποία μπορείς να εκπαιδεύσεις ένα νευρωνικό δίκτυο (προφανώς υπάρχουν κι άλλα στο internet απλά αυτή η σελίδα μου είχε αρέσει γιατί τα έχει μαζεμένα).

Γενικά, μπορώ να σου πω ότι αν αποφασίσεις να πάρεις το θέμα αυτό θα σε ζορίσει και θα χρειαστεί να κοπιάσεις για να βγάλεις δουλειά. Ωστόσο, η χαρά όταν το νευρωνικό που έχεις φτιάξει εσύ, από το μηδέν (κι όταν λέω από το μηδέν, εννοώ από το

#include <iostream>

int main(int argc, char** argv){

}

) αρχίζει και αναγνωρίζει τα ψηφία που του δίνεις στην είσοδο δεν περιγράφεται(είχα δουλέψει πάνω σε dataset αριθμών γραμμένων με το χέρι). Επίσης, θεωρώ ότι είναι η πιο σημαντική εργασία που έχω κάνει στα 5 χρόνια που είμαι στη σχολή και η μοναδική που μπορώ να δείξω σε πιθανή αναζήτηση εργασίας. Δεν υπονοώ ότι τα άλλα θέματα της τέταρτης εργασίας δεν αξίζουν, δεν τα θυμάμαι καν, αλλά πιστεύω ότι το συγκεκριμένο αξίζει το χρόνο του.

[1] https://www.coursera.org/learn/machine-learning
[2] http://arxiv.org/pdf/1003.0358.pdf
[3] http://deeplearning.net/datasets/

Edit:
Άλλαξα το link για το [2] γιατί είχα βάλει λάθος άρθρο.

[TTL]

ευχαριστώ παιδιά μου δώσατε λίγο θάρρος τουλάχιστον

[Αιμιλία η φτερωτή χελώνα]

για παραλληλοποιηση cnn σε cuda, δωστε του το parallel pull request του caffe
https://github.com/BVLC/caffe/pull/1148

[TrueForce]

Ασχολήθηκε κανείς με το deep learning να μας πει αν είναι βιώσιμο;

Επίσης, κανείς που να έκανε ένα εκ των άλλων δύο θεμάτων έχει τπτ να σχολιάσει σχετικά με αυτά; Παλεύονται;

[Solaufein]

Για την εργασία με το lsh partition μπορούμε να χρησιμοποιήσουμε το παράδειγμα που δίνει σε matlab και να το προσαρμόσουμε σε cuda ή θέλει άλλο κώδικα?

[Exomag]

Προθεσμία υποβολής εργασιών
26 Αυγ 2015 10:04 μμ
Πιτσιάνης

Τελευταία  ημέρα  της  Εξεταστικής  Σεπτεμβρίου  (όποια  κι  αν  είναι  αυτή  εξ'  αιτίας  των  εκλογών).

[chrisrn]

Παιδιά στην άσκηση pagerank τα αρχεία matlab τα δίνει για να εφαρμόσεις τον κώδικα σου πάνω σε ένα γράφο? Και αν ναι τότε πως ακριβώς?

[TrueForce]

Αποθήκευσε τα αποτελέσματα σε καποιο file. Ζήτα από τον σισμάνη να σου δώσει κανα link για datasets γιατί με τον surfer για γράφο με 1.000.000 κομβους θα πρέπει να περιμένεις μέχρι τον Οκτώβρη για να τελειώσει. :Ρ

[spira mirabilis]

Όσοι κάνατε το Pagerank ήσασταν ΟΚ με γράφο μέχρι και 1.000.000 κόμβων? Από 50.000 και πάνω το λάπτοπ μου κρασάρει λόγω μνήμης ( οκ, δεν το λες και τέρας ) , αλλά και ο Διάδης δεν τα πάει καλύτερα. Μπορεί να είναι σπάταλος ο αλγόριθμος, αλλά μήπως το ζητούμενο είναι μη υλοποιήσιμο;