[Aναγνώριση Προτύπων] 2η Εργασία 2015-2016

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Δείτε περισσότερα εδώ...]

Συμβουλές καλής χρήσης του φόρουμ: Youtube embed code and links, Shoutbox, Notify, ...

Δείτε περισσότερα εδώ...

[Exomag]

Το παρόν topic είναι για συζήτηση σχετικά με την 2η εργασία του μαθήματος. Stay on topic!

[Exomag]

Εκφώνηση 2ης εργασίας
26 Νοε 2015 11:08 πμ
Διαμαντόπουλος

Στην Ενότητα "Υλικό Μαθήματος" -> "Εργασίες Μαθήματος" -> "Ομαδοποίηση - Δεύτερη εργασία" θα βρείτε την εκφώνηση της 2ης εργασίας του μαθήματος.
Υπενθυμίζεται ότι άμεσα πρέπει να δηλωθείτε στην εργασία ("Υποβολή Εργασιών" -> "Ομαδοποίηση").

[απλυτος]

καταρχάς είναι λογικό να crashάρει το matlab όταν κάνω import το datashet; φαντάζομαι ναι γιατί είναι κτήνος. μετά τι; μονόδρομος να το σπάσω σε κομμάτια;

για το edit του dataset (διαγραφή λέξεων, δημιουργία νέων κατηγοριών κλπ) ποιο είναι το καλύτερο περιβάλλον; το workspace του matlab, το excell ή κάποιο άλλο εργαλείο; (σε συνάρτηση προφανώς με το να μην κρασάρει κάθε τρεις και λίγο)

γενικά αν έχει κάποιος παιδευτεί με το θέμα κι έχει χρήσιμα συμπεράσματα ας τα πασάρει εδώ

[Exomag]

καταρχάς είναι λογικό να crashάρει το matlab όταν κάνω import το datashet; φαντάζομαι ναι γιατί είναι κτήνος. μετά τι; μονόδρομος να το σπάσω σε κομμάτια;

για το edit του dataset (διαγραφή λέξεων, δημιουργία νέων κατηγοριών κλπ) ποιο είναι το καλύτερο περιβάλλον; το workspace του matlab, το excell ή κάποιο άλλο εργαλείο; (σε συνάρτηση προφανώς με το να μην κρασάρει κάθε τρεις και λίγο)

γενικά αν έχει κάποιος παιδευτεί με το θέμα κι έχει χρήσιμα συμπεράσματα ας τα πασάρει εδώ

Προσωπικά δεν μου crashάρει, απλά αργεί μέχρι να φορτώσει τόσο όγκο δεδομένων (συγεκριμένα το dataset είναι ένας πίνακας 80x110000 περίπου).

Σχετικά με την επεξεργασία του dataset, σε Matlab δεν είναι ιδιαίτερα δύσκολο να επεξεργαστείς όπως θες τα δεδομένα (και πάλι η επεξεργασία παίρνει αρκετή ώρα/πόρους), οπότε υποθέτω και σε R/Python θα είναι μια απ' τα ίδια. Σε Weka δεν ξέρω, γιατί δεν έχω ασχοληθεί με το πρόγραμμα.

[teslaaaa]

καταρχάς είναι λογικό να crashάρει το matlab όταν κάνω import το datashet; φαντάζομαι ναι γιατί είναι κτήνος. μετά τι; μονόδρομος να το σπάσω σε κομμάτια;

για το edit του dataset (διαγραφή λέξεων, δημιουργία νέων κατηγοριών κλπ) ποιο είναι το καλύτερο περιβάλλον; το workspace του matlab, το excell ή κάποιο άλλο εργαλείο; (σε συνάρτηση προφανώς με το να μην κρασάρει κάθε τρεις και λίγο)

γενικά αν έχει κάποιος παιδευτεί με το θέμα κι έχει χρήσιμα συμπεράσματα ας τα πασάρει εδώ

ναι είναι απόλυτα λογικό!και σε εμάς πέρσι κράσαρε!
εγώ λέω ή να το σπάσεις σε μικρότερα κομμάτια ή να μην το κάνεις import από το γραφικό περιβάλλον. Χρησιμοποίησε καλύτερα καμία συνάρτηση πχ. csvread αν έχεις σαν delimeter to ','
Τώρα για επεξεργασία, το weka φαντάζομαι ενδείκνυται για πιο μπακάλικη δουλειά, αλλιώς μπορείς να χρησιμοποιήσεις R/R Studio αν και θέλει κάποιο χρόνο η εκμάθηση του
Επίσης πριν το διαβάσεις πχ. στο ματλαμπ δες άμα η μορφή των δεδομένων είναι ομοιόμορφη και δεν θα σου χτυπήσει κανένα σφάλμα, πχ. τίποτα αυτάκια και τέτοια μπορεί να προκαλούν πρόβλημα. Αυτά και με plain text editor μπορείς να τα διορθώσεις
Στο excel όταν τα ανοίγετε να προσέχετε γιατί μπορεί να μορφοποιήσει κάποια στήλη αυτόματα σε συγκεκριμένο τύπο δεδομένων και επομένως να αλλάξει την αρχική μορφή τους

[απλυτος]

καταρχάς είναι λογικό να crashάρει το matlab όταν κάνω import το datashet; φαντάζομαι ναι γιατί είναι κτήνος. μετά τι; μονόδρομος να το σπάσω σε κομμάτια;

για το edit του dataset (διαγραφή λέξεων, δημιουργία νέων κατηγοριών κλπ) ποιο είναι το καλύτερο περιβάλλον; το workspace του matlab, το excell ή κάποιο άλλο εργαλείο; (σε συνάρτηση προφανώς με το να μην κρασάρει κάθε τρεις και λίγο)

γενικά αν έχει κάποιος παιδευτεί με το θέμα κι έχει χρήσιμα συμπεράσματα ας τα πασάρει εδώ

ναι είναι απόλυτα λογικό!και σε εμάς πέρσι κράσαρε!
εγώ λέω ή να το σπάσεις σε μικρότερα κομμάτια ή να μην το κάνεις import από το γραφικό περιβάλλον. Χρησιμοποίησε καλύτερα καμία συνάρτηση πχ. csvread αν έχεις σαν delimeter to ','
Τώρα για επεξεργασία, το weka φαντάζομαι ενδείκνυται για πιο μπακάλικη δουλειά, αλλιώς μπορείς να χρησιμοποιήσεις R/R Studio αν και θέλει κάποιο χρόνο η εκμάθηση του
Επίσης πριν το διαβάσεις πχ. στο ματλαμπ δες άμα η μορφή των δεδομένων είναι ομοιόμορφη και δεν θα σου χτυπήσει κανένα σφάλμα, πχ. τίποτα αυτάκια και τέτοια μπορεί να προκαλούν πρόβλημα. Αυτά και με plain text editor μπορείς να τα διορθώσεις
Στο excel όταν τα ανοίγετε να προσέχετε γιατί μπορεί να μορφοποιήσει κάποια στήλη αυτόματα σε συγκεκριμένο τύπο δεδομένων και επομένως να αλλάξει την αρχική μορφή τους

σε πόσο μικρότερα κομμάτια; ας πούμε σπάζοντάς το στα 4 δεν άλλαξε και πολλά- πάλι κρασάρει. επίσης χειροκίνητα - μέσω text editor - μπορώ να το σπάσω μόνο σε ομάδες από γραμμές κι όχι ομάδες από στήλες σωστά;

[MG9S]

Παιδια τι μπορούμε να κάνουμε όσο αφορά τις στήλες του αρχείου ?? Σε όποιο προγραμμα βάλουμε τα αρχεία κρασάρουνε. Υπάρχει κάποιο hint? Οσο αφορά τις γραμμες χρησιμοποιήσαμε την εντολή split απο τερματικό

[απλυτος]

εμένα το matlab μου τα ανοιξε με τα πολλα. αλλιώς δεν ξέρω πως.

το matlab έχει εργαλείο αντίστοιχο του class to cluster evaluation που έχει το weka; δλδ να του δίνεις τις πραγματικές κλάσεις του κάθε instance και να αξιολογεί το clustering που έκανε με βάση αυτές. με ψάξιμο που έκανα δε βρήκα κάποια έτοιμη συνάρτηση να το κάνει, πράγμα που μου φαίνεται περίεργο. αν ξέρει κάποιος κάτι παραπάνω (και γενικότερα για το evaluation στο matlab) θα ήταν πολύ χρήσιμο

[Σα τανυστής]

 θα πάρει παράταση η εργασία,  περιμενετε σχετική ανακοίνωση

[MG9S]

εμένα το matlab μου τα ανοιξε με τα πολλα. αλλιώς δεν ξέρω πως.

το matlab έχει εργαλείο αντίστοιχο του class to cluster evaluation που έχει το weka; δλδ να του δίνεις τις πραγματικές κλάσεις του κάθε instance και να αξιολογεί το clustering που έκανε με βάση αυτές. με ψάξιμο που έκανα δε βρήκα κάποια έτοιμη συνάρτηση να το κάνει, πράγμα που μου φαίνεται περίεργο. αν ξέρει κάποιος κάτι παραπάνω (και γενικότερα για το evaluation στο matlab) θα ήταν πολύ χρήσιμο

Βασικά μετά απο δοκιμές που κάναμε μετατρέψαμε τις στήλες σε γραμμές. Για να έχουμε όλα τα δεδομένα στα προγραμματα και να μην κολλάνε. Δεν ξέρω όμως κατα πόσο μπορεί να βοηθήσει στην συνέχεια ή αν είναι μ******ες επειδή δεν προχωρήσαμε σε κάτι άλλο για να δουμε αν αξίζει η μετατροπή αυτή

[rspappas]

εγω παιζω με μια λιγο πιο αρπακολα λυση, με bash script.

αρχικα μπορει καποιος να παρει μια συγκεκριμενη στηλη απο ενα csv αρχειο με το παρακατω

Code:

cut -d ';' -fXX dataset.csv 

όπου ΧΧ ο αριθμος της στηλης.

και μετα με grep κλπ, πεταω την πολυ σαβουρα (στηλες/λεξεις που εμφανιζονται σε πολυ λιγα ή παρα πολλα προτζεκτ). φευγει ετσι περιπου το 90% των δεδομενων.

ξαναλεω παντως οτι ειναι πολυ αρπακολα λυση, σιγουρα κατι υλοποιημενο σε οποιαδηποτε αλλη κανονικη γλωσσα προγραμματισμου θα ειναι πιο γρηγορο και πιο ευελικτο.

[απλυτος]

παίρνουμε πολύ χαμηλά αποτελέσματα σε "accuracy". Το accuracy προφανώς δεν υπάρχει στο clustering, αλλά αν υποθέσουμε ότι το μεγαλύτερο cluster το ονομάζουμε "android" το δεύτερο μεγαλύτερο "clp" κλπ κλπ κλπ και συγκρίνουμε με βάση τις κλάσεις που μας δίνει, έχουμε accuracy περιπου 25%.

είναι επίσης πολύ έντονο το φαινόμενο να φτιάχνει ένα τεράστιο cluster που να έχει πχ. 60/80 βιβλιοθήκες. Είναι λογικά όλα αυτά;

κι έχουμε κάνει αρκετό preproccesing δεν είναι οτι το βάλαμε να τρέξει έτσι γιουχου.

ας πει κάποιος

[chrisrn]

Στο weka δεν υπάρχει καλύτερη λύση απ'το να σπάσει σε κομμάτια το σετ?

[απλυτος]

Στο weka δεν υπάρχει καλύτερη λύση απ'το να σπάσει σε κομμάτια το σετ?

ανοιξε το dataset με matlab κάνε μια πρωτη πολύ βασική επεξεργασία (πχ αφαίρεσε τις λέξεις που εμφανίζονται σε μια μόνο βιβλιοθήκη που θα σου κάνει τις λέξεις από 110000 περιπου 25000) και ανοιξε μετα το μικροτερο dataset με weka

[et3rn1ty]

Σε matlab και python υπάρχει sparse matrix type, οπότε μπορείτε να μετατρέψετε τα δεδομένα. Και για να μην τα φορτώνετε κάθε φορά από το csv, αφού τα μετατρέψετε από dense σε sparse αποθηκεύστε τον sparse σε αρχείο.
Οι περισσότεροι αλγόριθμοι δουλεύουν και σε sparse (όχι όλοι).