THMMY.gr

καταρχάς είναι λογικό να crashάρει το matlab όταν κάνω import το datashet; φαντάζομαι ναι γιατί είναι κτήνος. μετά τι; μονόδρομος να το σπάσω σε κομμάτια;

για το edit του dataset (διαγραφή λέξεων, δημιουργία νέων κατηγοριών κλπ) ποιο είναι το καλύτερο περιβάλλον; το workspace του matlab, το excell ή κάποιο άλλο εργαλείο; (σε συνάρτηση προφανώς με το να μην κρασάρει κάθε τρεις και λίγο)

γενικά αν έχει κάποιος παιδευτεί με το θέμα κι έχει χρήσιμα συμπεράσματα ας τα πασάρει εδώ

Προσωπικά δεν μου crashάρει, απλά αργεί μέχρι να φορτώσει τόσο όγκο δεδομένων (συγεκριμένα το dataset είναι ένας πίνακας 80x110000 περίπου).

Σχετικά με την επεξεργασία του dataset, σε Matlab δεν είναι ιδιαίτερα δύσκολο να επεξεργαστείς όπως θες τα δεδομένα (και πάλι η επεξεργασία παίρνει αρκετή ώρα/πόρους), οπότε υποθέτω και σε R/Python θα είναι μια απ' τα ίδια. Σε Weka δεν ξέρω, γιατί δεν έχω ασχοληθεί με το πρόγραμμα.

ναι είναι απόλυτα λογικό!και σε εμάς πέρσι κράσαρε!
εγώ λέω ή να το σπάσεις σε μικρότερα κομμάτια ή να μην το κάνεις import από το γραφικό περιβάλλον. Χρησιμοποίησε καλύτερα καμία συνάρτηση πχ. csvread (http://www.mathworks.com/help/matlab/ref/csvread.html) αν έχεις σαν delimeter to ','
Τώρα για επεξεργασία, το weka φαντάζομαι ενδείκνυται για πιο μπακάλικη δουλειά, αλλιώς μπορείς να χρησιμοποιήσεις R/R Studio αν και θέλει κάποιο χρόνο η εκμάθηση του
Επίσης πριν το διαβάσεις πχ. στο ματλαμπ δες άμα η μορφή των δεδομένων είναι ομοιόμορφη και δεν θα σου χτυπήσει κανένα σφάλμα, πχ. τίποτα αυτάκια και τέτοια μπορεί να προκαλούν πρόβλημα. Αυτά και με plain text editor μπορείς να τα διορθώσεις
Στο excel όταν τα ανοίγετε να προσέχετε γιατί μπορεί να μορφοποιήσει κάποια στήλη αυτόματα σε συγκεκριμένο τύπο δεδομένων και επομένως να αλλάξει την αρχική μορφή τους

σε πόσο μικρότερα κομμάτια; ας πούμε σπάζοντάς το στα 4 δεν άλλαξε και πολλά- πάλι κρασάρει. επίσης χειροκίνητα - μέσω text editor - μπορώ να το σπάσω μόνο σε ομάδες από γραμμές κι όχι ομάδες από στήλες σωστά;

Παιδια τι μπορούμε να κάνουμε όσο αφορά τις στήλες του αρχείου ?? Σε όποιο προγραμμα βάλουμε τα αρχεία κρασάρουνε. Υπάρχει κάποιο hint? Οσο αφορά τις γραμμες χρησιμοποιήσαμε την εντολή split απο τερματικό

εμένα το matlab μου τα ανοιξε με τα πολλα. αλλιώς δεν ξέρω πως.

το matlab έχει εργαλείο αντίστοιχο του class to cluster evaluation που έχει το weka; δλδ να του δίνεις τις πραγματικές κλάσεις του κάθε instance και να αξιολογεί το clustering που έκανε με βάση αυτές. με ψάξιμο που έκανα δε βρήκα κάποια έτοιμη συνάρτηση να το κάνει, πράγμα που μου φαίνεται περίεργο. αν ξέρει κάποιος κάτι παραπάνω (και γενικότερα για το evaluation στο matlab) θα ήταν πολύ χρήσιμο

 θα πάρει παράταση η εργασία,  περιμενετε σχετική ανακοίνωση

Βασικά μετά απο δοκιμές που κάναμε μετατρέψαμε τις στήλες σε γραμμές. Για να έχουμε όλα τα δεδομένα στα προγραμματα και να μην κολλάνε. Δεν ξέρω όμως κατα πόσο μπορεί να βοηθήσει στην συνέχεια ή αν είναι μ******ες επειδή δεν προχωρήσαμε σε κάτι άλλο για να δουμε αν αξίζει η μετατροπή αυτή

εγω παιζω με μια λιγο πιο αρπακολα λυση, με bash script.

αρχικα μπορει καποιος να παρει μια συγκεκριμενη στηλη απο ενα csv αρχειο με το παρακατω
όπου ΧΧ ο αριθμος της στηλης.

και μετα με grep κλπ, πεταω την πολυ σαβουρα (στηλες/λεξεις που εμφανιζονται σε πολυ λιγα ή παρα πολλα προτζεκτ). φευγει ετσι περιπου το 90% των δεδομενων.

ξαναλεω παντως οτι ειναι πολυ αρπακολα λυση, σιγουρα κατι υλοποιημενο σε οποιαδηποτε αλλη κανονικη γλωσσα προγραμματισμου θα ειναι πιο γρηγορο και πιο ευελικτο.

παίρνουμε πολύ χαμηλά αποτελέσματα σε "accuracy". Το accuracy προφανώς δεν υπάρχει στο clustering, αλλά αν υποθέσουμε ότι το μεγαλύτερο cluster το ονομάζουμε "android" το δεύτερο μεγαλύτερο "clp" κλπ κλπ κλπ και συγκρίνουμε με βάση τις κλάσεις που μας δίνει, έχουμε accuracy περιπου 25%.

είναι επίσης πολύ έντονο το φαινόμενο να φτιάχνει ένα τεράστιο cluster που να έχει πχ. 60/80 βιβλιοθήκες. Είναι λογικά όλα αυτά;

κι έχουμε κάνει αρκετό preproccesing δεν είναι οτι το βάλαμε να τρέξει έτσι γιουχου.

ας πει κάποιος

Στο weka δεν υπάρχει καλύτερη λύση απ'το να σπάσει σε κομμάτια το σετ?

ανοιξε το dataset με matlab κάνε μια πρωτη πολύ βασική επεξεργασία (πχ αφαίρεσε τις λέξεις που εμφανίζονται σε μια μόνο βιβλιοθήκη που θα σου κάνει τις λέξεις από 110000 περιπου 25000) και ανοιξε μετα το μικροτερο dataset με weka

Σε matlab και python υπάρχει sparse matrix type, οπότε μπορείτε να μετατρέψετε τα δεδομένα. Και για να μην τα φορτώνετε κάθε φορά από το csv, αφού τα μετατρέψετε από dense σε sparse αποθηκεύστε τον sparse σε αρχείο.
Οι περισσότεροι αλγόριθμοι δουλεύουν και σε sparse (όχι όλοι).

οταν μετατρεπετε το dataset σε μορφη csv η τελευταια στηλη που σας βγαζει ειναι η "AddList" ?

Δεδομένου ότι οι στήλες είναι με αλφαβητική σειρά, κάτι έχεις κάνει σίγουρα λάθος. Πως το μετατρέπεις;

Το εβαλα στο ecxel στ αντιστοιχο του openoffice βσκ..μετα δοκιμασα και με R και κατι εβγαλε και κει απλα δν ειμαι σε pc να τ δω..κανονικα ποια ειναι η τελευταια στηλη?

Η τελευταία αρχίζει από "z" σίγουρα. Το Excel (και λογικά παρόμοια προγράμματα) έχουν περιορισμό στων αριθμό στηλών που δέχονται οπότε κάνει fold, και πάει στις από κάτω γραμμές, λογικά όταν φορτώνεις το αρχείο εκεί.

το excel ανοιγει αρχεια με μαξ 16000 στηλες, το libreoffice με μαξ 1024. και στις δυο περιπτωσεις κοβονται στηλες αν ανοιχτουν με αυτα.

τνξ
οντως κοβουν στηλες excel και παρομοια προγραμματα

ενας τροπος για να ανοιξεις με εξελ ή αντιστοιχο, ολοκληρο το dataset, ειναι να γινει transpose το csv

υπαρχει ενα cli προγραμματακι που κανει τετοια κολπα, csvtool


εχει και αλλα καλουδια το csvtool, για light επεξεργασια ειναι ωραιο.

guys, εχει κανεις καποιο tip για το πως συνεχιζουμε με την επεξεργασια των δεδομενων μετα το αρχικο ξεκαθαρισμα? εμεις εχουμε κολλησει και οποια κινηση κανουμε απο εδω και περα κανει χρηση της γνωσης μας για τις κατηγοριες (πχ κοστη, επιλεκτικη αφαιρεση attributes κλπ), το οποιο δεν πρεπει να γινει, συμφωνα με την εκφωνηση.

+1
Κανείς ρε παιδιά? :)

Εχει δει κανενας για τη δειγματοληψια????

Αν στην ομαδοποίηση υπάρχει μία ομάδα που έχει σχεδόν όλες τις βιβλιοθήκες πως το διορθώνουμε?

Ξεφτυλα βρε συμεωνιδη
http://www.cs.kent.edu/~jin/DM08/ClusterValidation.pdf (http://www.cs.kent.edu/~jin/DM08/ClusterValidation.pdf)

καλή χρονιά. μετατρέψτε τις απόλυτες συχνότητες εμφάνισης της κάθε λέξης σε σχετικές ανάλογα με το μέγεθος της κάθε βιβλιοθήκης. Από κει και μετά αρχίζει να έχει νόημα το πράμα. Οποιος εχει απορία πάνω σε αυτό ας στείλει pm

όταν λέει στον φάκελο με τα παραδοτέα να έχουμε το τελικό μοντέλο τι εννοεί; τι σημαίνει γενικά τελικό μοντέλο στο clustering;

εκτός από την περίπτωση να τους ξέφυγε από καμιά παλαιότερη εκφώνηση, ίσως να εννοεί πχ. τα κέντρα του κάθε κλάστερ
Άμα ξέρεις αυτά, μετά φαντάζομαι όποιο feature vector και να σου δώσουν μπορείς να το κατατάξεις στο κλάστερ από το κέντρο του οποίου το vector σου απέχει τη μικρότερη απόσταση

Δεν είναι τόσο απλό, γιατί εφόσον έχει υπάρξει pre-processing τα feature vectors δεν είναι κάτι μοναδικό.

άρα; μεηλάκι για να μάθουμε;

Καλό θα ήταν, αν και νομίζω πως αν απλά τους δώσεις τα αποτελέσματα του clustering σου δε θα έχουν θέμα. Αλλά και η επιβεβαίωση από το e-mail δε θα ήταν άσχημη.

Παιδια sos
Εδω και λιγες μερες προσπαθω να υλοποιησω δειγματοληψια με bootstraping στο matlab ωστα να πάρω νέα datasets.
Εχω δυο αποριες :Ρ
Πρωτον τι ακριβως ειναι το bootstraping με λιγα λογια?
Δευτερον,μπορει κανενας να βοηθησει?
Γενικα η συναρτηση bootstrp του matlab δεν εχω καταλαβει πως λειτουργει και ξερω σιγουρα οτι δεν μπορει να μου επιστρεψει πινακα με τις διαστασεις του dataset.
Ααααν μπορεσει καποιος να βοηθησει θα του ημουν ευγνωμων  :)

Αν έχετε απάντηση ως προς αυτό, γράψτε το πλιζ γιατί ήμουν έτοιμη να στείλω μέιλ για το ίδιο πράγμα :P

Δεν έχω βρει χρόνο/όρεξη να στείλω e-mail ακόμα, οπότε άμα θέλεις να το αναλάβεις έχεις το ελεύθερο :D

έστειλααα! θα ενημερώσω όταν έχω απάντηση :)

Παραθέτω την απάντηση του Θέμη:

"Τέλος, το τελικό μοντέλο αφορά ουσιαστικά την πλήρη περιγραφή των τελικών features, του αλγορίθμου με όλες τις παραμέτρους και της τελικής ομαδοποίησης (το διάνυσμα που αναφέρετε και -αν είναι εφικτό- τα κέντρα των clusters)."

(το διάνυσμα είναι το id, σε ποιο cluster κατατάσσεται η κάθε βιβλιοθήκη)

Όταν λέει να εφαρμόσουμε τουλάχιστον 3 σετ παραμέτρων τι εννοεί?

Εγω προσωπικά καταλαμβάινω οτι τρέχεις τον κάθε αλγόριθμο με διαφορετικές παραμέτρους πχ αριθμός cluster
Ας επιβεβαιώση κάποιος αν είναι

Πως αξιολογήσατε τα αποτελέσματα της ομαδοποίησης σας???

Τι εννοώ: Στο clustering όταν δεν έχεις τα σωστά αποτελέσματα (unsupervised), για την αξιολόγηση του μοντέλου σου χρησιμοποιείς μετρικές όπως η  Silhouette (διάγραμμα), η cohesion, η separation.   Όταν, έχεις όπως εδώ και τα τελικά αποτελέσματα μπορείς να χρησιμοποιήσεις και μετρικές όπως το accuracy, που είναι μετρική supervised clustering. (συγκρίνοντας δηλαδή τα αποτελέσματα του μοντέλου με τα σωστά)

Τι γίνεται στην περίπτωση που έχουμε 2 μοντέλα, εκ των οποίων το πρώτο βγάζει αρκετά καλό διάγραμμα  Silhouette, όμως έχει χειρότερο accuracy σε σχέση με το δεύτερο?? Το δεύτερο από την άλλη, ενώ έχει πολύ καλό accuracy όμως το διάγραμμα Silhouette είναι εμφανώς χειρότερο του πρώτου.

Με ποια λογική επιλέγω το καλύτερο από τα δύο. Με βάση ότι η ομαδοποίηση που έχω να κάνω είναι unsupervised, οπότε ρίχνω βαρύτητα στην αντίστοιχη μετρική και χρησιμοποιώ τα τελικά αποτελέσματα για να δω αν έχουν νόημα αυτά π βγάζω??? Η’ μπορώ να χρησιμοποιήσω το accuracy σαν σημαντικότερη μετρική???

+1000

παιδιά,  εμάς γενικά μας τα βγάζει τα περισσότερα σε ένα cluster, παρ' όλο που κάναμε normalize και θεωρώ πως κάναμε κ πολύ καλό pre-processing.. εσείς γενικά τι αποτελέσματα είχατε ?

Πάντως για την μερική Silhouette από ό,τι κατάλαβα από αυτά που διάβασα,  την χρησιμοποιείς για να αξιολογίσεις διαφορετικά runs του ίδιου αλγορίθμου και όχι για να συγκρίνεις διαφορετικούς αλγορίθμους..

To Silhouette δείχνει πόσο μακριά είναι τα clusters μεταξύ τους, όχι πόσο καλό είναι το clustering. Μπορεί το καλό clustering να έχει ξεχωριστά clusters, όμως μπορεί και όχι, ανάλογα το πρόβλημα.

Ένας τρόπος (αν δεν παίξεις με accuracy, completeness και homogeneity που θέλουν labels που υποτίθεται δεν έχουμε) είναι να δεις τις κυρίαρχες λέξεις σε κάθε cluster που προκύπτει, πχ ποια είναι η λέξη με το μεγαλύτερο άθροισμα ή ποιά είναι η λέξη που εμφανίζεται σε όλα τα στοιχεία του cluster?
Μία πιο "technical" λύση στο ίδιο approach είναι να κάνεις πάνω στα clusters Latent Dirichlet Allocation, το οποίο είναι εργαλείο για unsupervised topic discovery σε κείμενο (προορίζεται για φυσική γλώσσα, αλλά εμάς μας έβγαλε ενδιαφέροντα αποτελέσματα).

χωρίς να είμαι 100% σίγουρος, νομίζω δεν είναι λογικό ένα καλό accuracy - αυτό το κατά προσέγγιση accuracy τελοσπάντων - να πηγαίνει μαζί με κακό silhouette.

το silhouette δείχνει πόσο καλά διαχωρισμένες είναι οι τελικές σου ομάδες. πως γίνεται να είναι καλά διαχωρισμένες και ταυτόχρονα να είναι δομημένες λάθος (με βάση τις λύσεις που μας δίνει). Με βάση πάντα μια ερμηνεία του silhouette κι όχι απόλυτο νούμερο. (πχ αν μια ομάδα έχει ένα μόνο στοιχείο -που είναι σίγουρα λάθος-  βγάζει άψογο silhouette)

κι εμπειρικά, εμένα οι δύο καλές ομαδοποιήσεις που είχα με βάση το "accuracy" είχαν και καλό silhouette και όσο χειρότερες λύσεις έπαιρνα το accuracy έφθινε τελείως αναλογικά.

μιλάω πάντα για το υπάρχον πρόβλημα. σε γενικό επίπεδο, σίγουρα accuracy και silhouette δεν είναι ανάλογα μεγέθη.

ας πει και άλλος άποψη  

Μπορεί το Weka να υπολογίσει αυτόματα τις μετρικές (SSE, Cohesion, Separation, Silhouette)? Και αν ναι πώς τις εμφανίζει;

γενικά όχι, επίσης γενικά για την 2η εργασία το WEKA ήταν άχρηστο, μακάρι να το είχαμε καταλάβει νωρίτερα,  με την ομάδα μου καταλήξαμε τελευταία στιγμή να το γυρίσουμε σε matlab

Έχει τρέξει κανείς τoν kmeans με περισσότερα από 8 clusters? Και αν ναι μετά τα κάνατε merge?

Ακριβώς το ίδιο κι εμείς!!! Παιδευτήκαμε άσκοπα στο $%&*weka και τελευταία στιγμή τα ξανακάναμε όλα στο MATLAB...

Να προτείνουμε στον Συμεωνίδη να το καταργήσει εντελώς από την επόμενη χρονιά... Είναι μια σκέτη ταλαιπωρία χωρίς όφελος...  >:(

Ας επιλέξουν Python ή R (ένα απ' τα δυο), ας κάνουν 4 εργαστήρια πάνω σ'αυτό, μπας και μάθουν τίποτα στα σοβαρά τα παιδιά...

R και μόνο R!!!!!
R R R R R R R R R R R R RR R R R R R R R R R R R

Ενίσταμαι ως προς την διαγραφή του post μου, το οποίο -πέρα απ' τις φατσούλες- είχε λόγο ύπαρξης καθώς περίμενε αναφορά στα πλεονεκτήματα της R έναντι του Matlab.  8))

Δεκτό, άμα θέλετε κάντε ένα ξεχωριστό topic και συζητήστε (σκοτωθείτε) εκεί για τα πλεονεκτήματα του κάθε εργαλείου :D

Απλά προσπαθώ να κρατήσω τη συζήτηση focused στη συγκεκριμένη εργασία.

Μετά την προθεσμία της εργασίας.  :P