THMMY.gr

Υπάρχει περιπτωση να παρει παράταση η εργασία;

ναι μεχρι τον σεπτεμβρη

Η διορία στις 02/03/2015 είναι για όποιον θέλει να πάρει βαθμό στο μάθημα αυτό το εξάμηνο. Αλλιώς, η εργασία μπορεί να παραδοθεί μέχρι και τον Σεπτέμβριο, για να περαστεί τότε ο βαθμός.

παιδια εριξα μια ματια στα θεματα και μου φανηκε πολυ ενδιαφερον το deep learning. Διαβασα λοιπον κάποια άρθρα είδα μερικα Tytorials κτλπ....
Και κατέληξα ότι ειναι ΤΕΛΕΙΩΣ αδυνατο να υλοποιηθεί για τους εξής λόγους:
1) τα νευρωνικα δίκτυα είναι απο μόνα τους ενα δυσνόητο θέμα με το οποίο ερχόμαστε σε επαφή το 9ο εξάμηνο και όχι στο 7ο που διδάσκεται το μάθημα

2) ακόμα και αν καταλάβεις τη θεωρία ειναι σχετικά απλό να υλοποιηθεί σε matlab αλλά πάρα πολύ σύνθετο σε c που μας ζητάει. Ότι κώδικα και να βρήκα σε c ήταν τόσο δυσνόητος που αν δε μου λέγαν ότι ειναι c θα θέλα κανα μισάωρο να το καταλάβω.

3) ακόμα και να μπορέσεις να φτιάξεις νευρωνικό σε c ( που το θεωρώ απίθανο ) όλα τα deep learning άρθρα αναφέρουν κάποιες γενικές αρχές ή ιδέες για την παραλληλοποίηση και όχι κώδικα. Ελάχιστο κώδικα βρήκα μονο σε Python που χρησιμοποιεί πακέτα λογισμικού πολύ υψηλού επιπέδου που εννοείται ούτε για πλάκα δεν υπάρχει σε βιβλιοθήκη της c.

Εν τέλει, είναι όντως τρελό αυτό που ζητείται, ή μόνο εγώ ειμαι άχρηστος;

http://www.gputechconf.com/

πεταξου και πες μας τι ειπαν

edit : προφανως αυτο το θεμα ειναι δυσανολογο σε σχεση με τα αλλα
 ειναι up to date ομως (ενας λογος που δεν θα βρεις και κωδικες)

Είναι όντως πολύ ενδιαφέρον θέμα και, από διάφορα άρθρα που έχω διαβάσει, μπορώ να πω ότι τα νευρωνικά δίκτυα
είναι πολλά υποσχόμενοι αλγόριθμοι.

Επειδή επέλεξα το συγκεκριμένο θέμα στο μάθημα πέρυσι μπορώ να πω τα παρακάτω από τη δική μου εμπειρία:

Ασχολήθηκα σχεδόν 1.5 μήνα, από τις αρχές του Αυγούστου μέχρι τα μέσα του Σεπτέμβρη. Δούλεψα σε C++ και
χρησιμοποίησα CUDA και MPI για να τρέξω στις 4 GPUs στις οποίες σου δίνουν πρόσβαση από το μάθημα.

Ο κώδικας που προέκυψε δεν είναι για κανένα λόγο βέλτιστος. Για παράδειγμα, υλοποίησα πολλαπλασιασμούς πινάκων μόνος μου, ενώ θα μπορούσα να έχω χρησιμοποιήσει μία από τις βιβλιοθήκες που υπάρχουν για τον σκοπό αυτό όπως η CUBLAS (γραμμική άλγεβρα σε GPU).

Η μόνη γνώση που είχα για τα νευρωνικά δίκτυα πριν ξεκινήσω την εργασία ήταν τα όσα λέγονται στο μάθημα του
Coursera [1] που είχα παρακολουθήσει. Εξαιρετικά χρήσιμο μου είχε φανεί και το άρθρο [2] το οποίο είχα χρησιμοποιήσει ως μέτρο σύγκρισης για τα αποτελέσματά μου. Επίσης, υπάρχει κι αυτή η ιστοσελίδα [3] στην οποία μπορείς να βρεις αρκετά σετ δεδομένων πάνω στα οποία μπορείς να εκπαιδεύσεις ένα νευρωνικό δίκτυο (προφανώς υπάρχουν κι άλλα στο internet απλά αυτή η σελίδα μου είχε αρέσει γιατί τα έχει μαζεμένα).

Γενικά, μπορώ να σου πω ότι αν αποφασίσεις να πάρεις το θέμα αυτό θα σε ζορίσει και θα χρειαστεί να κοπιάσεις για να βγάλεις δουλειά. Ωστόσο, η χαρά όταν το νευρωνικό που έχεις φτιάξει εσύ, από το μηδέν (κι όταν λέω από το μηδέν, εννοώ από το

#include <iostream>

int main(int argc, char** argv){

}

) αρχίζει και αναγνωρίζει τα ψηφία που του δίνεις στην είσοδο δεν περιγράφεται(είχα δουλέψει πάνω σε dataset αριθμών γραμμένων με το χέρι). Επίσης, θεωρώ ότι είναι η πιο σημαντική εργασία που έχω κάνει στα 5 χρόνια που είμαι στη σχολή και η μοναδική που μπορώ να δείξω σε πιθανή αναζήτηση εργασίας. Δεν υπονοώ ότι τα άλλα θέματα της τέταρτης εργασίας δεν αξίζουν, δεν τα θυμάμαι καν, αλλά πιστεύω ότι το συγκεκριμένο αξίζει το χρόνο του.

[1] https://www.coursera.org/learn/machine-learning
[2] http://arxiv.org/pdf/1003.0358.pdf
[3] http://deeplearning.net/datasets/

Edit:
Άλλαξα το link για το [2] γιατί είχα βάλει λάθος άρθρο.

ευχαριστώ παιδιά μου δώσατε λίγο θάρρος τουλάχιστον :D

για παραλληλοποιηση cnn σε cuda, δωστε του το parallel pull request του caffe :P :D
https://github.com/BVLC/caffe/pull/1148

Ασχολήθηκε κανείς με το deep learning να μας πει αν είναι βιώσιμο;

Επίσης, κανείς που να έκανε ένα εκ των άλλων δύο θεμάτων έχει τπτ να σχολιάσει σχετικά με αυτά; Παλεύονται;

Για την εργασία με το lsh partition μπορούμε να χρησιμοποιήσουμε το παράδειγμα που δίνει σε matlab και να το προσαρμόσουμε σε cuda ή θέλει άλλο κώδικα?

Προθεσμία υποβολής εργασιών
26 Αυγ 2015 10:04 μμ
Πιτσιάνης

Τελευταία  ημέρα  της  Εξεταστικής  Σεπτεμβρίου  (όποια  κι  αν  είναι  αυτή  εξ'  αιτίας  των  εκλογών).

Παιδιά στην άσκηση pagerank τα αρχεία matlab τα δίνει για να εφαρμόσεις τον κώδικα σου πάνω σε ένα γράφο? Και αν ναι τότε πως ακριβώς?

Αποθήκευσε τα αποτελέσματα σε καποιο file. Ζήτα από τον σισμάνη να σου δώσει κανα link για datasets γιατί με τον surfer για γράφο με 1.000.000 κομβους θα πρέπει να περιμένεις μέχρι τον Οκτώβρη για να τελειώσει. :Ρ

Όσοι κάνατε το Pagerank ήσασταν ΟΚ με γράφο μέχρι και 1.000.000 κόμβων? Από 50.000 και πάνω το λάπτοπ μου κρασάρει λόγω μνήμης ( οκ, δεν το λες και τέρας ) , αλλά και ο Διάδης δεν τα πάει καλύτερα. Μπορεί να είναι σπάταλος ο αλγόριθμος, αλλά μήπως το ζητούμενο είναι μη υλοποιήσιμο;

Βρες γιατι crushαρει.

Ειναι υλοποιήσιμο, απλά μάλλον σπαταλάς μνήμη χωρίς να χρειάζεται. Δεν πιστεύω να έβαλες μέσα κανα πίνακα 1.000.000x1.000.000 ...;

Με κατάλαβες  8)) Ας πούμε έχω έναν πίνακα που για κάθε κόμβο έχει με ποιους κόμβους συνδέεται και τη δέσμευση μνήμης την κάνω στην αρχή. Θα μπορούσα να το κάνω με realloc, αλλά τότε δεν ξέρω τί θα γίνει με τον χρόνο. Και ο αρχικός μου γράφος με τις συνδέσεις που τον διαβάζω από αρχείο είναι επίσης nxn, με 1 στους συνδεδεμένους γράφους. Αυτόν τί να το κάνω; Δυο στήλες με τα ζευγάρια;

Οι γραφοι που έχει στο internet έχουν αυτή τη μορφή:

[κομβος]TAB[κομβος]

δηλαδή έχεις μόνο μία στήλη που περιέχει όλες τις συνδέσεις και μόνο.

Με βάση αυτόν τον γράφο, φτιάξε για κάθε κόμβο έναν πίνακα που έχει τις συνδέσεις του και μόνο. Πρόσεξε μόνο γιατί πολοί από αυτούς τους πίνακες θα είναι άδειοι(μη σου κατσει κανα seg fault εκει). Με realloc το έκανα και γω και δεν είχε καμιά τρελή καθυστέρηση.

Φυσικά αυτό είναι απλά ένας τρόπος υλοποίησης. Feel free να πειραματιστείς και αλλιώς. Απλά το NxN προφανώς θα είναι τεράστιο και δεν μπορείς να το χρησιμοποιήσεις.

Αυτή η μορφή είναι πολύ βολική, σε γλυτώνει από την αναζήτηση. Tο σκριπτάκι σε matlab έδινε τετραγωνικό πίνακα αν δεν κάνω λάθος, οπότε για αυτό ξεκίνησα έτσι. Με έπεισες,θα το αλλάξω όσο κι αν βαριέμαι. 

Βέβαια στο σκριπτάκι ο πίνακας είναι τύπου sparse (=αραιός). Φαντάζομαι θα έχει τη σημασία του, χωρίς να ξέρω. 

Ναι, τα χειρίζεται αλλιώς. Κραταει τον δεικτη των θεσεων που ειναι μη μηδενικές. Αλλά κάτι τέτοιο με C δεν ξερω πως υλοποιείται(σιγουρα θα υπάρχει κάποια βιβλιοθήκη). Και προφανώς δεν μπορείς να χειριστείς τετραγωνικό πίνακα τέτοιου μεγέθους, οπότε προφανώς πρέπει να καταφύγεις σε κάτι άλλο. Αυτό που είπα είναι μια ιδέα.

Αν κατάλαβα καλά, εσύ προτείνεις έναν μονοδιάστατο πίνακα n θέσεων, που η κάθε θέση του είναι άλλος πίνακας (pointer δηλαδή) o οποίος έχει τα outgoing links του συγκεκριμένου κόμβου. Δηλαδή αν ο γ κόμβος έχει λινκς προς τους α,β,κ (και οι αλλοι κομβοι δεν εχουν λινκς) θα έχουμε το παρακάτω,

[α][β][γ][δ][ε][ζ][η][θ][ι][κ][λ][μ][ν]
        [α]
        [β]
        [κ]


Σωστά?

Ναι, κάτι τέτοιο. Θα σου πρότεινα μάλιστα να χρησιμοποιήσεις ένα struct που θα έχει μέσα για κάθε κόμβο 1) τις συνδέσεις του και 2) των αριθμό των συνδέσεών του(μέγεθος του πίνακα) αντί να έχεις χύμα τους πινακες στο προγραμμα. Το να είναι το struct global βόλεψε. Άλλωστε δεν έχεις να κάνεις με κορτέση που θα σε κράξει γι αυτο. :Ρ

Μμμμ πολύ καλή ιδέα μπράβο σου!

Κάτι βασικό βέβαια που δεν έχω καταλάβει είναι το εξής:
τον γράφο πώς θα τον φτιάξω? Θα πάρω στοιχεία από κάπου ή όλα θα είναι εικονικά και τυχαία? ('Η πρέπει να καταλάβω την surfer? μακάρι να μην είναι το τελευταίο! :P )

Μπορείς να αποθηκεύσεις τον πίνακα που σου επιστρέφει ο surfer με αυτή τη μορφή. Οι γράφοι που υπάρχουν στο διαδίκτυο τους αποθηκεύουν με αυτή τη μορφή. Απλά (μάλλον) πρέπει να χρησιμοποιήσεις τον κώδικα του matlab για συγκρίνεις τα αποτελέσματά σου(να κάνεις plot τις διαφορές). Τον surfer παντως δε χρειαζεται να τον καταλαβεις, dont worry. Το μονο που χρειάζεται να ξέρεις είναι πως σου επιστρέφει έναν πίνακα με τις συνδέσεις.

Ρωτήστε σισμάνη και πιτσιάνη για να σας ανεβάσουν καναν γράφο στο ethmmy ή να σας δώσουν κάποιο link.

Ευχαριστώ πολύ γενικά! Αλλά θα συνεχίσω να ρωτάω

Για να μετατρέψουμε τον τετραγωνικό πίνακα του matlab (ο οποίος είναι εν γένει 1,000,000 Χ 1,000,000) στη μορφή που προτείνεις και μου αρέσει, θα πρέπει κάπως να τον περάσουμε στη C. Και μόνο που τον περνάμε δεν θα δημιουργήσει το πρόβλημα που τέθηκε στην αρχή?

PS: Μήπως έχεις και κανα λινκ εύκαιρο για αυτό?

Όλα έτοιμα τα θέλετε...; ^knuppel^


ο surfer θα σου τρέξει σε κανα χρόνο για 1kk κόμβους. Βάλε κανα μέγεθος 100 ή χιλίων κόμβων το πολύ.

Ευχαριστώ!

PS:
Κακά τα ψέματα.... ναι :D

Μπορεί να λέω βλακείες, αλλά μήπως υπάρχει λάθος στον τύπο που δίνει για το PageRank;

Συγκεκριμένα, μήπως στο d*Σ _{j ε Βi} το Bi δεν πρέπει να είναι οι κόμβοι με τους οποίους συνδέεται ο i, αλλά οι κόμβοι που συνδέονται στον i; Το ρωτάω γιατί έτσι μου φαίνεται πιο σωστό, αλλά επίσης γιατί διαφορετικά το άθροισμα που υπάρχει στον παρονομαστή μπορεί να μηδενιστεί αν κάποιος κόμβος δεν έχει κανένα link προς άλλη σελίδα(έχει μόνο εισερχόμενες συνδέσεις και όχι εξερχόμενες).

Εισαι ολοσωστος!

όταν ορίζει τον πίνακα G έτσι
                                         G = an n-by-n sparse matrix with G(i,j)=1 if node j is linked to node i.
εννοεί πως υπάρχει σύνδεση από τον j κόμβο στον i κόμβο...σωστά?? επομένως δεν υπάρχει outgoing Link από τον i στον j...αλλά μόνο το αντίθετο.

επίσης τα  ranks που σας βγάζει ο κώδικας στη C...σας βγαίνουν ίδια(περίπου) με αυτά της pagerankpow??? εγώ προσωπικά έχω αρκετά μεγάλη απόκλιση.

Στο πρωτο νομιζω πως εχεις δικιο.
Οσο για τα αποτελεσματα, για μικρο dataset που δοκιμασα να συγκρινω με matlab, μου βγαιναν ιδια για 10 δεκαδικα.

Όταν λέει βαθμός συνδεσιμότητας μήπως εννοεί το σύνολο και των εισερχόμενων και των εξερχόμενων συνδέσεων?

Πρέπει στάνταρ να σου βγαίνουν πάρα πολύ κοντά. Μάλλον έχεις κάποιο λαθος στην υλοποίηση.

Αν εννοεις το αθροισμα,οχι.

Απλά αν ο γράφος είναι directed τότε γίνεται να μην έχουμε εισερχόμενη σύνδεση σε κάποιους κόμβους αλλά μόνο εξερχόμενη. Οπότε πάλι ο παρονομαστής μπορεί να είναι 0. Μήπως τότε λαμβάνουμε υπόψιν μόνο την πιθανότητα τυχαίας αναζήτησης?

Το αθροισμα στον παρανομαστη ειναι το ποσοι κομβοι συνδεονται στον κομβο i.

να κανω μια ερωτηση? ξερετε αν μπορουμε να κανουμε ομαδικη την εργασια η θα πρεπει το καθε ατομο να στειλει τον δικο του κωδικα και αναφορα?

Κοιτα στις προηγουμενες εργασιες υπηρχαν και ομαδικες , δεν νομιζω να αλλαξε κτι σε αυτην.

Μπορείς να είσαι ομάδα με άτομα που δεν ήσουν σε ομάδα ξανά (νομίζω μέχρι 4 άτομα).

ευχαριστω και τους 2  :)

μηπως εχει κανεις κανα μικρο (λιγοτερο απο 1Μ) dataset ομοιο με αυτο του snap προχειρο ?

edit : nvm ειχε στην ιδια σελιδα, απλα ειμαι τεμπελης

Μπορεί να μου εξηγήσει κάποιος τι συμβαίνει με το άθροισμα στην pagerank? Τι ειναι τα B_i B_j εχω καταμπερδευτεί τώρα.  :o :o

Κάνει κάποιος την εργασία με το LSH σε CUDA ?

To B_i γράφει στην εκφώνηση πως είναι το σύνολο των κόμβων με τους οποίους συνδέεται ο κόμβος i.
Πχ αν ο κόμβος 2 τον συνδέουν (τον δείχνουν) οι κόμβοι 3, 4, 5, 6, 7 τότε το σύνολο Β₂ =  {3, 4, 5, 6, 7}. 
Το Σαjk στον παρονομαστή είναι ο αριθμός των κόμβων που συνδέεται ο j , δηλαδή 5 κόμβοι στο παράδειγμα.

αχα..

ισχύει επίσης οτι ο σειριακός για μικρο Ν είναι πιο γρήγορος?

Ναι ισχύει 8)) 8))

Η ημερομηνία που έχουμε ως προθεσμία είναι 5 Οκτωβρίου? Δίνονται αρχές οικονομίας τότε και λογικά τελειώνει και η εξεταστική

Ε ναι, τότε.

Έστειλα email και είπε οτι το πρόγραμμα επίσημα είναι μέχρι της 30. Αρα μεχρι της 30 και η προθεσμία. Το ίδιο λογικά θα ισχύει και για ενσωματωμένα.

Ωραία, να του πούμε τότε να πάει 5 μέρες μπροστά; Κυρίως για τα ενσωματωμένα το λέω. :D

+1 να του πουμε για τα ενδωματωμενα....

Πάντως το να λέει "ο m συνδέεται με το n" σε έναν κατευθυντικό γράφο είναι αοριστία (και μάλιστα αν έπρεπε να συμπεράναμε κάτι θα έπρεπε να συμπεράναμε m->n).

έδιτ: it's a f*kin trap

Έχει βρεί κανείς web graph με 1Μ ή περισσότερα nodes που να μην είναι 1 δισ;

1 δις τι;

1 δισεκατομύριο nodes. Όσα web graphs βρίκα πάνω από 1Μ ήταν υπερβολικά μεγάλα.

έχει το web-Google με 917000

όλοι αυτό χρησιμοποιήσαμε ρε γμτ; :D

Για κόμβους κοντά στο 1Μ τι χρόνους έχετε βγάλει για τον παράλληλο κώδικα?

Το ξέρω αυτό, απλά έψανχα κάποιο με πάνω από 1Μ. Ευχαριστώ πάντως

Εγώ πήρα αυτόν (https://snap.stanford.edu/data/wiki-Talk.html) :P