THMMY.gr

Στο τόπικ αυτό θα ασχοληθούμε με τις φετινές εργασίες!

Για να βοηθήσω όσους συναδελφους ασχολούνται με την 1η εργασία μεταφέρω την ανταλλαγή mail με την μεταπτυχιακό:


[...]
Το πρόβλημά μου όμως είναι ότι ο αλγόριθμος kmeans μου δίνει
διαφορετικά αποτελέσματα κάθε φορά που τον τρέχω. Με λίγο ψάξιμο στο
internet βρήκα ότι αυτό οφείλεται στις αρχικές συνθήκες. Για την
εργασία, θα πρέπει να πάρω κάποιες συγκεκριμένες αρχικές συνθήκες και
αν ναι,ποιές?

Απάντηση:
Kalhspera,
einai logiko na sou dinei kathe fora alla apotelesmata... esy tha valeis
kapoia tyxaia.
wstoso den tha xrhsimopoihseis thn entolh kmeans!!!!
tha prepei na grapseis esy ton algorithmo pou na kanei authn thn douleia.
o algorithmos perigrafika dinetai sto vivlio!


(οι υπογραμμίσεις δικιές μου)


Και μια ερώτηση: Για το 3d scatterplot χρησιμοποιήσατε την scatter3? Αν ναι, πως σκατά βάζετε χρώμα στο plot γιατί εμένα η εντολή

scatter3(a(:,1), a(:,2),a(:,3), tmp, 'ΧΧΧΧ' ) όπου ΧΧΧ οποιοδήποτε συνδυασμός χρωμάτων('bgrc' κτλ) μου πετάει error. Ο κώδικάς μου από την άλλη είναι σωστός γιατί αν δεν χρωματίσω το διάγραμμα μια χαρά βγάζω αποτέλεσμα

μπορεί κάποιος που έχει το βιβλίο να σκανάρει και να ανεβάσει μερικές σελίδες για όσους περιμένουν να ανοίξει ο EUDOXUS για να το πάρουν;

http://en.wikipedia.org/wiki/K-means_clustering#Standard_algorithm

   
Σημειώσεις θεωρίας
18 Μαρ 2011 12:45 μμ
Καλτσά

Στον  σύνδεσμο  υλικό  μαθήματος  υπάρχουν  οι  σημειώσεις  θεωρίας  που  χρειαζόνται  για  την  1η  εργασία.

η απλη ανακατασκευη αυτου

http://people.revoledu.com/kardi/tutorial/kMean/matlab_kMeans.htm

το kmeans δινει οντως καθε φορα αλλα αποτελεσματα και μπορεις να δεις οτι

σε συγκεκριμενες περιπτωσεις δινει απολυτως λαθος αποτελεσματα (αλλα ειναι η εξαιρεση)

ειναι ευκολο να γραφτει γενικα και απο το μηδεν , αν εχετε προσβαση στα Παραλληλα υπαρχει ο κωδικας

σε C οπως τον εγραψε ο Πιτσιανης η καποιος δικος του τεσπα

Σε matlab είναι αποκλειστικά οι εργασίες?  :???:

Γενικά ναι. Αλλά αν μοιάζουν έστω και ελάχιστα σε δυσκολία με αυτές που κάναμε στα ΨΕΕ, θα χρειαζόσουν 1 εξάμηνο να τις κάνεις σε C lol

Πάντως, σύμφωνα με τα όσα είπε σήμερα στο μάθημα η κοπέλα που έκανε ασκήσεις, θα πρέπει να γράψουμε σε κώδικα τον αλγόριθμο Kmeans και όχι να τον πάρουμε έτοιμο από το matlab. Και, τόσο για τον Kmeans όσο και για τον maximin που θα χρησιμοποιηθούν στην άσκηση, έχει ανεβάσει στο ethmmy σκαναρισμένες τις σελίδες του βιβλίου που αναφέρονται σε αυτούς(για όσους δεν έχουν το ίδιο το βίβλιο :P ) Αυτά σε ό.τι έχει να κάνει με αυτά που ειπώθηκαν μέσα στην τάξη.

Όταν λέει κανονικοποίηση δεδομένων τη εννοεί ακριβώς? Επίσης στο maximin πόσο να είναι η ακρίβεια?


εγώ χρησιμοποίησα την plot3

Πχ αν θέλεις το σημείο (1,4,5) με κόκκινο σταυρό  γράφεις

plot3(1,4,5,'+r')

Μετά με for σχεδιάζεις ένα ένα τα σημεία

Εν τέλει το έκανα με την scatter3 ως εξής:

scatter3(a(:,1), a(:,2),a(:,3),10, tmp,'filled' )

όπου ο πίνακας a περιέχει τα δεδομένα του thyroid, ο temp είναι το αποτέλεσμα του kmeans, το 10 είναι ένα (ικανοποιητικό για μένα) μέγεθος και το filled το έβαλα για να είναι "γεμιστά" τα σύμβολα

Καμιά ιδέα πάνω σε αυτό? Για το thyroid το Δmax/Δmin κυμαίνεται γύρω από το 0.9 χωρίς να μικραίνει.  Ο κώδικας πάντως δουλεύει σωστά για το παράδειγμα που κάναμε στις ασκήσεις

(Χ - Χμιν) / (Χμαξ - Χμιν)
στο μάθημα μας έδωσε αυτόν τον τύπο για την κανονικοποίηση
αλλά δεν ξέρω αν εννοεί ότι βρίσκει ένα μιν και ένα μαξ για όλο τον πίνακα ή για κάθε στήλη/σειρά ξεχωριστά!

Λογικά για κάθε στήλη πρέπει να βρίσκουμε min-max

Ναι, τελικά το έκανα  όπως λέει η pitsa για κάθε στήλη , thx! Με το maximin δεν ασχολήθηκε κανείς ?  :-\ Δηλαδή , πότε το βάλατε να τερματίζει και πόσα κέντρα σας έβγαλε?

εχω το ίδιο πρόβλημα με εσένα emfanever...

Αυτό που καταλαβαίνω είναι ότι ο maximin εξαρτάται πάρα πολύ από το αρχικό κέντρο που θα διαλέξεις εσύ . Αν αυτό είναι της κατηγορίας 1 , αλλα πολύ κοντά στα σημεία της κατηγορίας 2 , τότε δε πρόκειται να βγαλει αποτελεσμα με λίγα κεντρα , διότι πολύ απλά η απόσταση αυτού του ακραίου σημειου της κατηγορίας 1, θα είναι συγκρίσιμη αναμεσα στο κέντρο της κατηγορίας 2, και σε ενα ακραίο της ομαδας 1 προς την αλλη μερια. Γιάυτό και κολλάει στο 0.9 ο συντελεστής (δλδ είναι συγκρισιμες οι αποστάσεις) .

Μετά αφου ξεπεράσει τα 3 κέντρα , επιλέγοντας και άλλα , πεφτουν οι αποστάσεις και αναμεσα στα κέντρα (Dmin) αλλα και η μέγιστη απο τις ελάχιστες αναμεσα σε σημεία και κεντρα( Dmax) αρα παλι ο συντελεστής διατηρείται σε αυτη τη ψιλοσταθερή αναλογία και έτσι συνεχίζει να προσθέτει κέντρα...

Προφανώς καπου κανουμε λάθος..

Ιδέες? Μου διαφεύγει κατι?

PS: δεν αναμένουμε να βγάλει 3 κέντρα , όσες και οι κατηγορίες?

για καθε στήλη βρήκες μιν και μαξ? όχι για κάθε σειρά?

Ναι για κάθε στήλη, γιατί οι κοινές συνιστώσες των δειγμάτων βρίσκονται στην ίδια στήλη. Πχ η συγκέντρωση θυροξίνης όλων των δειγμάτων βρίσκεται στη 2η στήλη του πίνακα thyroid.

Παντως κουραφιο βιβλιο στον χωρο αυτο ειναι το

http://research.microsoft.com/en-us/um/people/cmbishop/prml/

Λογικα, ολο και καπου μπορειτε να το βρειτε :P

Οσον αφορα τον k-means, ειναι απλος αλγοριθμος,οχι πανω απο 5-10 σειρες υλοποιηση στο matlab. Μπορει να βγαλει πολυ κοντινα κεντρα, αναλογα με τα δεδομενα, αλλα οταν εχεις μονο 3 κεντρα που 8ες πρεπει τα δεδομενα να σχηματιζονται ουσιααστικα σε μορφη cluster. Γενικα λογω της απλοτητας του χρησιμοποιειται αρκετα, αλλα δεν δινει αναγκαστικα και τα καλυτερα αποτελεσματα, αναλογα με την εφαρμογη.

Αν καποιος ενδιαφερεται ακομη περισσοτερο για clustering methods, υπαρχει και το ΕΜ, Expectation-maximization. Αν καποιος ενδιαφερεται για υλοποιηση υπαρχουν αρκετες στο ιντερνετ.

Emfanever το θεματάκι με το maximin το έλυσες?

όχι.. εκεί γύρω στο 0.8-0.9 το βάζω να σταματήσει και μου βγάζει 3 κέντρα. Αν βάλω πιο λίγο βγάζει  πάρα πολλά κέντρα

Η ομαδοποίηση βγήκε καλή?

εμένα με αρχικό κέντρο το original πρώτο


1   107   0.9   2.7   2.2   10.1

(κανονικοποιημένο φυσικά στο (0 1) ) , αποτυγχάνει πρακτικά να ομαδοποιήσει ικανοποιητικά σε 3 clusters ..

Βρίσκει 3 κέντρα καθένα από τα οποία ανήκει σε διαφορετική ομάδα ατόμων. Όταν λες καλή ομαδοποίηση εννοείς τι συμβαίνει αν χρησιμοποιήσουμε τα κέντρα αυτά στον kmeans? Γιατί ο maximin δεν κάνει ομαδοποίηση, απλά υπολογίζει τα κέντρα

Αφού βρεις τα 3 κέντρα, δεν τοποθετείς τα σημεία σε clusters ανάλογα με την ευκλείδια απόσταση καθενός με τα κέντρα? Αλλιώς τι νόημα έχει να βρούμε μόνο κέντρα? Η εργασία λέει "χρησιμοποιήστε τον αλγόριθμο Maximin για τον διαχωρισμό των ομάδων. Ελεγξτε πόσο % των δειγμάτων καθε κλάσης περιέχονται σε κάθε ομάδα  κτλ"  . Συνεπώς αν δεν ομαδοποιήσουμε τα σημεια αφού βρούμε τα κέντρα πως θα απαντήσουμε? Εσύ χρησιμοποίησες kmeans με αυτα τα κέντρα μετά για να απαντήσεις?

Είναι δική μου πατέντα αυτή? :P

Ε καλά ,παίζει να λέω και εγώ βλακείες. Απλά μέσα στις σημειώσεις λέει ότι χρησιμοποιείται για την επιλογή του αριθμού των κέντρων κτλ.

Είναι γεγονός αυτό που λες. Ο Στρίτζης στο βιβλίο του αυτό που λες λεει. Απλά παραμένει το ερώτημα , τελικά κάπως ομαδοποίηση θα κανουμε στο Γ? Διαφορετικά πως θα το απαντήσουμε? Εστειλα και 1-2 μέιλ για το θέμα . Αν βρω κατι θα επανέλθω..

Για κάποιον ανεξήγητο λόγο μου έχει μπει στο μυαλό ότι έχω κάνει λάθος train το perceptron.

Παίζει κανείς να μου στείλει είτε με pm είτε να γράψει εδώ(καλύτερα) τα αποτελέσματα από τα βάρη που βρήκε?(για το ερώτημα α)

Απάντηση της μεταπτυχιακού σε μερικές ερωτήσεις μου:


Αυτό που μπορώ να σου πω είναι ότι για τις 2 συνιστώσες ο αλγόριθμος δεν περιμένουμε να συγκλίνει.
Μπορείς να κάνεις ένα γράφημα με τα στοιχεία όπου θα φαίνεται ότι ο γραμμικός διαχωρισμός τους είναι μη εφικτός.
Όσον αφορά τις 3 διαστάσεις, βάλε ένα άνω όριο επαναλήψεων π.χ. 5000 και στην συνέχεια να τερματίζει ο αλγόριθμος.
Έτσι θα έχεις κάποια αποτελέσματα για σύγκριση.

Επίσης κάθε φορά, δηλαδή στις 2 ή στις 3 διαστάσεις θα υπολόγιζεις τα νέα βάρη w, τα οποία και θα χρησιμοποιείς στην συγκεκριμένη περίπτωση.

Τέλος αν θες δοκίμασε να τρέξεις τον αλγόριθμο και για μη κανονικοποιημένα δεδομένα. Τα αποτελέσματα θα είναι καλύτερα.

Ελπίζω να βοήθησα.

Εμένα στο ερώτημα Αα, στις 3 διαστάσεις, συγκλίνει ο αλγόριθμος χωρίς να βάλω ανώτατο όριο (με κανονικοποιημένα δεδομένα).  

παρατήρησε κανείς κάτι παράξενο στον αλγόριθμο ελαχιστων μεσων τιμών όταν για τις ομάδες 2-3 στις 3 στήλες στο διάγραμμα??????????????????

Τι εννοείς παράξενο? Δεν παρατήρησα κάτι

μου βγάζει διάγραμμα 2 διαστάσεων...
προφανώς το πιθανότερο είναι να έχω λάθος εγώ στις εντολές, απλά παραξενεύομαι γιατί χρησιμοποιώ τον ίδιο κώδικα όπως και στις 1-2 και 1-3 ομάδες και εκεί μου το βγάζει κανονικά!
είπα να ρωτήσω μήπως το έπαθε και κανένας άλλος, για να μην ψάχνομαι! :P

Δοκίμασες να το γυρίσεις με την επιλογή rotate3D που έχει από πάνω? Μπορεί να είναι προφανές, αλλά λέω μήπως, γιατί και σε μένα δε μου δείχνει πάντα και τους 3 άξονες από την αρχή.

:$ :$ :$ :$
αυτό ήταν... ποοοοοοοοοοοοοοοοοοοοο

ευχαριστώ!!

δοκιμάστε μετά το πλοτ την εντολή view( kati,kati_allo) όπου τα 2 ορίσματα είναι σε μοίρες, και δείχνουν την γωνία απ΄όπου θα βλέπεις το σχήμα


Επίσης: Στο Α ερώτημα το 1ο μέρος, στο 3διάστατο γράφημα δεν μου κάνει καθόλου καλό διαχωρισμό(από τα 140 δείγματα ο διαχωρισμός είναι 15-125 ή 25-115, δεν θυμάμαι) Όμως, αν πλοτάρετε τα αρχικά διανύσματα θα δείτε ότι είναι λίγο-πολύ γραμμικώς διαχωρίσιμα. Το συνάντησε κανείς άλλος αυτό?

εμένα γενικά όταν κάνω διαχωρισμό για τρεις στήλες μου βγαίνει πολύ κοντά στον αρχικό διαχωρισμό!!!
μόνο στις 2 στήλες χαλάει!

ναι όντως μια χαρά βγαίνουν εγώ είχα κάνει λάθος στο script lol(είμαι μεγάλο ζώο)

να κάνω κι εγώ μια καίρια ερώτηση...  :P
στο Β μέρος, όταν λέει να χρησιμοποιηθούν ''...τα υπόλοιπα δείγματα για τον έλεγχο του αλγορίθμου", τί εννοεί?'

κάνεις εκπαίδευση με τα 70 πρώτα δείγματα της κάθε ομάδας.
αφού τελειώσει η εκπαίδευση κρατάς σταθερά τα w και σύμφωνα με αυτά κάνεις διαχωρισμό όλων των δειγμάτων.

όχι όλων των δειγμάτων , ελεγχεις το διαχωρισμό των δειγμάτων που δε χρησιμοποιήθηκαν για εκπαιδευση

Στην εκφώνηση, μέρος Α, ερώτημα α(αλλά και β) λέει:

"Να χρησιμοποιηθεί ο αλγόριθμος Perceptron για τον διαχωρισμό των κατηγοριών: ασθενής που πάσχει από υποθυρεοειδισμό και υγιής «ασθενής». Για την εκπαίδευση να χρησιμοποιηθούν τα 70 πρώτα δείγματα κάθε ομάδας. Κατόπιν να σχεδιάσετε στο διδιάστατο επίπεδο το γραμμικό διαχωρισμό που επιτυγχάνεται χρησιμοποιώντας τις συνιστώσες 2 και 3 και στη συνέχεια στον τρισδιάστατο χώρο χρησιμοποιώντας τις συνιστώσες 3, 4 και 5."


Θέλει δηλαδή να κάνουμε μια φορά train το perceptron με όλες τις συνιστώσες,να παρουσιάσουμε το αποτελέσμα και με τα ΙΔΙΑ βάρη να σχεδιάσουμε τον δισδιάστατο διαχωρισμό ή να ξανα-εκπαιδεύσουμε το perceptron μόνο με τις 2 συνιστώσες και να παρουσιάσουμε τα αποτελέσματα? Μόνο αυτό μου λείπει για να τελειώσω.......

Όπως το έχει διατυπώσει όντως δημιουργεί αυτή την ασάφεια. Πρέπει να θέλει εκπαίδευση με 2 συνιστώσες και παρουσιαση αποτελεσματος και μετα εκπαίδευση με 3 συνιστώσες και παρουσίαση αποτελέσματος. Αν εκπαιδεύσεις με 5 συνιστώσες θα έχεις 5+1 βάρη (μαζί με την πόλωση) οπότε το να απεικονίσεις τον διαχωρισμό μετά μόνο με τα  2 +1 βαρη ή 3+1 βάρη αναλογα με την περίπτωση δε θα ειχε νόημα.

Προσωπικά δεν εκπαίδευσα καθόλου και με τις 5 συνιστώσες.

Όπως το λέει ο IMGChris το έκανα εγώ.

Το λέει και η μεταπτυχιακός στο mail στην προηγούμενη σελίδα


Στην περίπτωση με τις 2 συνιστώσες ο αλγόριθμος δε συγκλίνει, δηλαδή δε βρίσκω w με 2 συνιστώσες

Σε ποιον έλειψαν???  ;)

   
3η Σειρά Ασκήσεων
13 Απρ 2011 4:59 μμ
Καλτσά

Στο  σύνδεσμο  'Υλικό  μαθήματος'  μπορείτε  να  βρείτε  αναρτημένη  την  3η  εργασία. 
Προθεσμία  υποβολής  της  είναι  η  Δευτέρα  02.05.2011.

Στο Α1, όταν λέει
"Βρείτε τις πρώτες πρωτεύουσες συνιστώσες u1, u2, u3 των συνόλων Τ1, Τ2 και Τ3. "
θα βρούμε τις πρώτες πρωτεούσες συνιστώσες u1,u2,u3, ΚΑΘΕ συνόλου;
ή θα βρούμε τις πρώτες πρωτεύουσες συνιστώσες u1,u2,u3, για τα σύνολα Τ1,Τ2,Τ3 ΑΝΤΙΣΤΟΙΧΑ;

edit: Αν καταλαβαίνω καλά από αυτά που ζητούνται γενικά παρακάτω. το 2ο ε;

βγήκαν οι βαθμοί για τις 2 πρώτες εργασίες στο ethmmy

Πόσες είναι οι εργασίες συνολικά?

είπε κάτι για 6

Στην 4η εργασία, ξέρει κανείς αν μπορούμε να βγάλουμε τις ανισότητες απο την σχέση που δίνει για κατάταξη από κανονικές κατανομές?? Αν δεν γίνεται έτσι, ποιος άλλος τρόπος υπάρχει?? Για δισδιάστατα δείγματα..

Καλώς ήρθες... Λίγοι απομείναμε...

Αν αναφέρεσαι στην 7.15 θα μπορούσες να τη χρησιμοποιήσεις αν τα δείγματα και των δύο προτύπων ακολουθούσανε κανονική κατανομή. Οπότε πχ για το 1ο ερώτημα ξεκινάς απο τη σχέση Λ > Τ με Τ = P(H2)/P(Η1) (αφού μιλάμε για MAP) , και Λ  ο λόγος πιθανοφάνειας. Η κατανομή για το Ω1 είναι κανονική , για το Ω2 ομοιόμοφρη . Τις αντικαθιστάς στην παραπάνω ανισότητα και φτάνεις σε μια ανισότητα - καταταξης. Σε βοηθά το γεγονός ότι τα n1 , n2 είναι ανεξάρτητα.

Nαι, κάπως έτσι το σκέφτομαι..Μετά,για να υπολογιστούν μετά οι 2 δεσμευμένες πιθανότητες του λόγου πιθανοφάνειας, πρέπει να βρούμε την συνάρτηση πυκνότητας πιθανότητας για την κάθε κατανομή.. Στα παραδείγματα όμως που έχει στο βιβλίο και που έχουν γίνει στο μάθημα τα δείγματα είναι μονοδιάστατα, ενώ εδώ είναι της μορφής x=[1+n1  1+n2].. έχεις καμιά ιδέα για το πως μπορεί να βρεθεί η p(x|H) σε αυτή την περίπτωση??

για το H1 , βρίσκεις τη μέση τιμή E{ x } = E{[1+ n1  1+n2]T} = E{[1 1] + E{[n1 n2]} = [1 1] , μετά τον πίνακα συμμεταβλητότητας C και απο εκεί βρίσκεις την p(x|H1) από τη σχέση 2.50. Για το H2 είναι το γινόμενο των συναρτήσεων πυκνότητας πιθανότητας f(n1) * f(n2) .

Α, πολύ ωραία.. Thanx :)

Να κάνω κι εγώ μια ερώτηση (σόρρυ για την ασχετοσύνη  :-X)
Πώς ορίζονται οι συντελεστές κλιμάκωσης hx και hy;

Στο νευρωνικό δίκτυο στο 2ο ερώτημα(Αυτό που το κάνουμε train με το erythema.data) μήπως σας βγήκε και εσάς σκατά το train? Γιατί εμένα αφού το κάνω τραιν, όταν το τρέξω με τα υπόλοιπα δείγματα(test samples) παίρνω πολύ άκυρα αποτελέσματα. 1 στις 30 φορές βέβαια παίρνω ικανοποιητικά αποτελέσματα.

Ατομικές είναι οι εργασίες αυτή τη φορά?

γιατί να είναι ατομικές??

εμένα στο Β ερώτημα το train μέχρι στιγμής μου βγάζει πολύ καλά αποτελέσματα, δεν το έτρεξα ακόμα στο test...

Γιατί οταν έκανα το ποστ, δεν μπορούσε να κάνει άλλος join στην ομάδα..Το άλλαξε τώρα..

έχει ξεκινήσει κανείς την 6η?
πως ακριβώς κάνουμε την αρχικοποίηση των βαρών σε 0.1? δεν μπορώ να καταλάβω...
 :-\

Επείγουσα Ενημέρωση
(Αν και λίγο αργα) Η άτυπη παράταση δεν ισχύει για την 6η εργασία, Ο κος Στρίντζης έδωσε εντολή να έχουν υπολογιστεί από τη Βάγια οι βαθμοί των εργασιών μέχρι αύριο οπότε οποιος σκοπεύει να στείλει την 6η να το κάνει έστω και μισο τελειωμένη.  Θα υπάρξει "σπρώξιμο" στη βαθμολογία της τελευταίας.   

Ας ανεβάσει κάποιος την εκφώνηση της 4ης εργασίας ρε παιδιά...

εδω

Σ'ευχαριστώ πολύ  :)