THMMY.gr

μα κανείς δεν απόρρησε...?

Ασε ρε, τζαμπα το εκανα το τοπικ  :-[

καντε αποριες γιατι ο Συμεωνιδης θα νομιζει οτι μας εβαλε ευκολα και θα κλαψουμε στην επομενη

Εμενα η απορια μου ειναι η εξης: την παλευει ο Συμεω? Ειχε ιδεα τι μας ζητησε (απο αποψη ογκου) να κανουμε ή αντε γιουρια?????
Ε ρε μας βλεπω η αναφορα να βγαινει πιο μεγαλη απο την τεχνολογια λογισμικου.... :o

τι θα γράψεις;;;
μη μου πεις ότι υλοποίησες τους knn και kmeans από την αρχή...!

βγάλατε άκρη με τον KNN?
tutorial links are welcome

βγάλατε άκρη με το β ερώτημα?
μπορεί ο KNN να απομακρύνει τιμές? το μονο που σκεφτήκαμε είναι να φτιάξουμε κάποιο κανόνα με κάποιο Distance πίνακα  κ ετσι αν τα Κ κοντινότερα σημεία ειναι μεγαλύτερο απο Χ distance να απομακρύνονται  

ΒΤW o πραγματικός - default -wellknown knn  δεν είναι για το 4ο ερώτημα?

υπάρχει κάποια οδηγία για το μέγεθος της αναφοράς????? ;)

μόνο ότι θέλει περισσότερα διαγράμματα και λίγα γράμματα :P

τι σκατά ολοι την ξεπετάξατε?
κανείς δεν σκάλωσε πουθενά?

your powers of inference are powerful

Μπορεί κάποιος να ανεβάσει κανένα διάγραμμα να δούμε τι παίζει?!

/yell
re pragmatika ti epaikse kyklwma k meroisthkan at arxeia .m??
to precourse gia thn ergasia egine kai htan toso gamato??

η δυσκολια της ασκησης ηταν προς την κατανοηση της :P
και για αυτο εγιναν πολλες ερωτησεις και διευκρινισεις μεσα στις βδομαδες στα μαθηματα (και μη). Αποτελεσματα δεν υπαρχουν σωστα και λαθος, ειναι να καταλαβεις τι απεικονιζουν και να βγαλεις τα αντιστοιχα συμπερασματα.
Τεσπα, τωρα τελειωσε, αναμενουμε μεσα στο ΣΚ να ανεβει και η 2η εργασια που θα εχει διορια μεχρι 12 Δεκ (συμφωνα με τον Συμεω προχθες). Ας ελπισουμε να ειναι καλυτερη.

Όποιος καταφέρει να περάσει τα δεδομένα από τα arff στο matlab, ας μοιραστεί το μυστικό...

Μετά από ψάξιμο κατάλαβα ότι κάτι τέτοιo δε γίνεται αν δεν έχεις κατεβάσει και εγκαταστήσει το weka http://www.cs.waikato.ac.nz/ml/weka/ (http://www.cs.waikato.ac.nz/ml/weka/)..( εκτός αν κάνεις parse στα αρχεία μόνος σου με ένα ωραίο πρόγραμμα που θα κάνεις μόνος σου στο Matlab :D). Στο site της Mathworks υπάρχει ένα πολύ χρήσιμο πακέτο που προσφέρει το interface μεταξύ Matlab και Weka (http://www.mathworks.com/matlabcentral/fileexchange/21204-matlab-weka-interface (http://www.mathworks.com/matlabcentral/fileexchange/21204-matlab-weka-interface)).
Απο το πακέτο αυτό θα χρειαστείς μόνο 2 functions:
- Την loadARFF η οποία φορτώνει τα δεδομένα από το .arff σε ένα αντικείμενο java
- Την weka2matlab που τελικά επιστρέφει δεδομένα σε μορφή Matlab πλέον

Για να καταφέρεις όμως να τις τρέξεις πρέπει να περάσεις στο classpath.txt του Matlab το path του weka.jar που είναι και υπέυθυνο για το transition weka-> matlab. Και για να έχεις το δικαίωμα να το κάνεις αυτό πρέπει να τρέξεις το Matlab ως admin στα Windows..

Από εκεί και ύστερα δουλέυεις στο γνωστό και αγαπημένο σου περιβάλλον..
Το θέμα είναι τι ακριβώς κάνεις μετά...Αυτό ακόμα το ψάχνω

Btw έχει καταλάβει κανείς τι συμβολίζουν τα εξτρά attributes του dataset?? Αυτά εδώ δηλαδή:

 'wv_have'    'wv_patch'    'wv_use'    'title_in'    'title_with'    'tag_2'     'tag_3'     'tag_patch'

Ο Συμεωνίδης μόλις μας είπε οτι μπορούμε να χρησιμοποιήσουμε απευθείας το weka αν θέλουμε ;)

Ούτε έτσι μου δουλεύει γμτ. Μήπως μπορείς να το εξηγήσεις λίγο βήμα-βήμα?
Βρήκε κανείς κανέναν άλλο τρόπο?

για να μπορέσω να το τρέξω, έπρεπε να γράψω επίσης στο MATLAB
javaaddpath('E:\Program Files\Weka-3-6\weka.jar');

(Η τελος πάντων όπου έχετε κανει install το weka.)
Πριν απο τη χρηση των weka2matlab και loadARFF

Λοιπόν...
- Κατέβασα και εγκατέστησα το weka και το πακέτο με τις συναρτήσεις loadARFF κλπ
- Πέρασα στο classpath.txt του matlab το weka.jar
- Γράφω javaaddpath('E:\Program Files\Weka-3-6\weka.jar');
- Δίνω εντολή π.χ  wekaOBJ = loadARFF(Topics5NoRuby.arff) και μου βγάζει:  ??? Undefined variable "Topics5NoRuby" or class "Topics5NoRuby.arff".
- Αν δοκιμάσω χωρις την κατάληξη, δλδ wekaOBJ = loadARFF(Topics5NoRuby) τότε βγάζει: ??? Undefined function or variable 'Topics5NoRuby'.

Τι δε κάνω σωστά;

[A, datasetA]=weka2matlab(loadARFF('Topic25NoRuby.arff'));
grapse auyto kai pes mou ti ginetai.

Δούλεψε!
Ευχαριστώ πολύ. Αντε να δούμε από εδώ και πέρα τώρα....

Βασικά όλες τις χρειάζεσαι, γιατί μερικές αλληλοκαλούνται (δλδ πρέπει να αντιγραφεί όλο το πακέτο)

Επίσης θα χρειαστεί λογικά και η trainWekaClassifier όπου για να έχουμε πχ χρήση του αλγορίθμου C4.5 πρέπει να ορίσουμε τύπο classifier weka.classifiers.trees.j48.* όπου * ένα από τα
BinC45ModelSelection   Class for selecting a C4.5-like binary (!) split for a given dataset.
BinC45Split   Class implementing a binary C4.5-like split on an attribute.
C45ModelSelection   Class for selecting a C4.5-type split for a given dataset.
C45PruneableClassifierTree   Class for handling a tree structure that can be pruned using C4.5 procedures.
C45PruneableClassifierTreeG   Class for handling a tree structure that can be pruned using C4.5 procedures and have nodes grafted on.
C45Split Class implementing a C4.5-type split on an attribute.

υποθέτω το 3ο ή το 6ο? :P

παντως καμια σχεση τα δεδομενα οπως τα δειχνει το matlab και οπως πραγματικα ειναι στο weka  :o

ρε μας δουλεύει? πιο μεγάλους πίνακες δεν είχε να μας δώσει?

classifier = weka.classifiers.trees.J48.C45Split();
αυτο δουλευει κομπλέ
και φτιαχνει classifier οποιος ειναι editable
(http://i18.photobucket.com/albums/b111/fragostafylo/classifier.jpg)

πως ομως τον χρησιμοποιούμε?

δείτε μια αυτό
http://stackoverflow.com/questions/6952315/how-to-load-arff-format-file-to-matlab

πως χωρισατε τα δεδομενα σε εκπαιδευσης και ελεγχου και σε τι ποσοστο??  τυχαια επιλογη και 60-40% ειναι καλα??? ειχε αναφερει κατι ο συμεω?

Είχε πει σε κάποια στιγμή ότι αυτός θα έκανε cross-validation, που είναι εύκολο να το επιλέξεις μέσα από το γραφικό περιβάλλον στο weka αλλά δεν βρήκα ακόμα πως γίνεται μέσω matlab...

Στις διαλέξεις αναφέρει οτι συνήθως χρησιμοποιείς τα 2/3 για εκπαίδευση και το 1/3 για έλεγχο (όσο περίπου τα πήρες εσύ δλδ)

Στο περιβάλλον του weka, πως εφαρμόζουμε φίλτρα?

Επέλεξα ενα φίλτρο για τις missing values, πατησα apply αλλα δε βλέπω να κάνει τίποτα. Άσε που χρησιμοποιεί λεει το training data (το οποίο ορίζεις ποιο είναι σε επόμενο βήμα)

και εγώ δοκίμασα και αυτό και το "Remove useless" και δεν φαίνεται να αλλάζει κάτι. Αντίθετα αν δοκιμάσεις οποιοδήποτε άλλο κάνει κανονικά αλλαγές.  :( Έκανε κανείς καθαρισμό από weka;

Τα δεδομένα που μπαίνουν στη Matlab αναφέρονται στις γραμμές των πραγματικών δεδομένων που βρίσκονται στον πίνακα του weka. Υπάρχει κάποιος τρόπος να εισάγουμε τα πραγματικά δεδομένα στη Matlab;
Και επίσης, ο αλγόριθμος C4.5 δεν υπάρχει έτοιμος στη Matlab ε;;;

Κάντε μια χάρη στην ψυχική σας υγεία και μη μπλέκεστε με matlab στη συγκεκριμένη εργασία. Κάντε τα όλα στο weka να ξεμπερδεύετε.

+100000000000

κάποιοι λένε οτι το classregtree εφαρμοζει καποια μορφή C4.5

νομιζω οτι δεν κανει τιποτα γιατι αντιμετωπιζει τα ? ως κανονικα instances.. αν επιλεξεις το χαρακτηριστικo milestone_title γραφει διπλα missing 0 (0%)

>>με μεγαλη επιφυλαξη!  :-\

και γω αυτό ψυλλιάζομαι, καμια ιδεα?  :-\

Ελα μου ήρθε φλασιά

Ισχύει αυτό που λέει ο tomshare3, δεν υπάρχουν missing values. Το uninitialized variable που με μπέρδευε εμένα δεν είναι πρόβλημα στα δεδομένα αλλά τύπος bug. Προς το παρόν δλδ δε μου φαίνεται ότι χρειάζεται κάποιου είδους καθαρισμός. Από κανονικοποίηση δε ξέρω τι παίζει βεβαια...

hey

βασικά αν κάνεις κανονικοποίηση δε βλέπω κι εγώ να αλλάζουν τα δεδομένα αλλά έχει διαφορά στο αποτέλεσμα.
Λογικά έχει γίνει η κανονικοποίηση γτ πάνω πάνω στα αποτέλεσματα γράφει
"........-weka.filters.unsupervised.attribute.Reorder-R1-10,12-21,11-weka.filters.unsupervised.instance.Normalize-N1.0-L2.0"

ψέμματα.... unsupervised.attribute.Normalize-N1.0-L2.0 πρέπει

αλλάζουν τα δεδομένα πχ δες το wv_have

και τωρα συνειδητοποίησα ότι για να νιώσει το παλιοweka πρέπει το αρχείο που προεπεξεργάζεσαι να το σώσεις πρώτα όταν το περάσεις από φίλτρο. Σε μένα αν δε το σώσεις, στη ταξινόμηση θεωρεί το αρχικό αρχείο  >:(

στην εκφωνηση λεει εχει 10 σετ δεδομενων και στο ζιπ εχει 8, am I missing something? :???:

Not at all... Τυπογραφικό λάθος again... :P

άγιε βασίλη για φέτος το δώρο μου θέλω να είναι αλλαγή της δήλωσης μαθημάτων μου

στο βημα 4 θέλει να επιλέξουμε τον καλύτερο αλγόριθμο ή το καλύτερο εκ των 5-10-20-25(Νο)Ruby ???

Ποιο φίλτρο Normalize χρησιμοποιείς;; Από τον φάκελο attribute ή από το instance;;

attribute

Υπάρχει λόγος για normalise όταν καλούμε τους J48 και Bayes απο το WEKA? Η γίνεται αυτόματα η δουλειά?

να μη θίξω κανένα, αλλά δε το εμπιστεύομαι το weka :P

REMINDER: 0,75!!!!!!!!!!!!!!!

In GOD we trust! :P

Έχουμε τελικά ιδέα αν πρέπει να γίνει καθαρισμός των δεδομένων με κάποιο φίλτρο ή όχι;;; :???:

Προσωπικά είμαι back to point zero

Ρε ξέρει κανείς κατά πόσο έχουμε δικαίωμα να "παραμερίσουμε" attributes στο όνομα της καλύτερης ταξινόμησης?  :P

Ο Συμεώ είπε ότι δεν ήταν αυτός ο λόγος που μας έβαλε την εργασία και θα δώσει 100% του βαθμού και σε όποιον κόψει attributes και σε όποιον δεν κόψει. Αν τώρα πιστεύουμε ότι κάποια από αυτά τα attributes δεν συνεισφέρουν (δικαιολογηθεί δηλαδή μέσα στην αναφορά) μπορούμε να τα κόψουμε no prob.

Επίσης να πω ότι η εργασία πήρε παράταση για την Τρίτη νομίζω.

κατάφερε κανένας να περάσει τα δεδομένα στο ΜΑΤLAB στην καινούργια εργασία?
Και βασικά τα αρχεία τι κατάληξη έχουν κανονικά? εγώ τα έβαλα csv, και μπορώ να τα ανοίξω με Excel,
αλλά με importdata() του MATLAB δουλειά δεν γίνεται, και επίσης δεν μπορούν να ανοίξουν με Weka...

Καταρχάς μη παιδεύεσαι με το συνολικό αρχείο. Απόπειρες να το φορτώσω στο weka δείχνουν ότι απαιτεί 20GB μνήμης RAM μόνο για να φορτώσει!  :P

Από κει και πέρα με email στον Συμεωνίδη για το θέμα αυτό μου είπε ότι μπορουμε να χρησιμοποιήσουμε το 10% subset αν δε γίνεται αλλιώς ή να κάνουμε ένα data stream (το οποίο δε ξέρω πως γίνεται, λογικά σε matlab ή άλλη γλώσσα προγραμματισμού) ώστε να τραβάμε όσα θέλουμε.

Να ξέρεις πάντως ότι το συνολικό αρχείο έχει κάπου 5.000.000 εγγραφές  :P

Εχω δοκιμάσει και εγώ όλους τους loaders του Weka και δεν ανοίγει τίποτα (ούτε το 10%). :(

Σε εμένα δούλεψε το εξής σχετικά με το φόρτωμα, οπότε το παραθέτω...

Αρχικά κατεβάζουμε από εδώ: http://tunedit.org/repo/KDD_Cup/KDDCup99.arff το 10% subset σε μορφή arff. (Θέλει registration στο site.)
Λογικά ομως δε θα το διαβάζει το weka και θα λεει out of memory.
Για να το διαβάσει, ανοίγουμε με το notepad το C:\Program Files\Weka-3-6\RunWeka.ini και αλλάζουμε τη γραμμή "maxheap=256m" σε μεγαλύτερη τιμή. Σε εμένα δούλεψε το 1024m.

To μόνο που κατάφερα είναι περάσω το 10% στο ΜΑΤΛΑΒ, αλλά η δουλειά έγινε μετά από κανένα 20λεπτο! (Με importdata), τα οποία όμως δυσκολεύομαι να χειριστώ για μου τα έχει περάσει σαν [494021Χ1] char,
και όποτε γράφω a(1), τότε λέει ότι είναι [1Χ124], αλλά δεν μου τις παρουσιάζει τις τιμές.


Και άντε τα περάσαμε.
Μετά μπορούμε να τα στείλουμε στο ΜΑΤΛΑΒ με τις γνωστές συναρτήσεις, η θα βγάλει και πάλι σφάλμα?

PS. δεν ανεβάζεισ και το αρχείο KDDCup99.arff, να μην κάνουμε register?

http://www.multiupload.com/PN38OA41E6

p.s. οσοι έχουν θέμα με την μνήμη του weka se mac

Open up a terminal window and type:
>
> cd /Applications/weka-3-5-7.app/Contents
>
> Now type:
>
> open Info.plist
>
> This will start OSX's Property List Editor application. Expand first  
> the "root" and then the "Java" entries in the list. Under  "Java"  
> you will find an entry called "VMOptions" with the value "-Xmx256M".  
> Edit this (by double clicking on the value) and enter a higher value  
> for the heap size.

σ' εμενα με -Xmx1024M έπαιξε
με 1024 απλα το φόρτωσε απο επεξεργασια δεν κανει τιποτα..

αυτο που δουλεψε για το ματλαμπ (αλλα δεν ξερω κατα ποσο ειναι ευχρηστο) ειναι να τα περασω πρωτα σε ενα xlsx. Ιmport data σε καινουριο exel και μετα import το exel στο μτλαμπ.. για να διατηρησει ομως την μορφη των αλφαριθμητικων δεδομενων επρεπε να τα βαλω ως cell στο ματλαμπ και ο χειρισμος των cell ειναι αρκετα δυστροπος! αα και επισης σε δυο κομματια γιατι δεν μπορουσε να χειριστει 500.000 εγγραφες το ματλαμπ και πετουσε σφαλμα!  :o :o :o :o

Αρα.. καλυτερα weka και ξεμπερδευουμε!

Τόσο καιρό πίστευα από αυτά που άκουγα στα μαθήματα ότι η κλάση θα έχει 5 τιμές: normal, dos attack, κλπ.
Τελικά σύμφωνα με τη περιγραφή στη σελίδα του διαγωνισμού αυτά είναι κατηγορίες επιθέσεων, το dateset έχει 24 διαφορετικές τιμές για την κλάση, που αντιστοιχίζονται σε 4 κατηγορίες σύμφωνα με αυτή τη λίστα: http://kdd.ics.uci.edu/databases/kddcup99/training_attack_types (http://kdd.ics.uci.edu/databases/kddcup99/training_attack_types).

Οπότε τι κάνουμε εμείς?
Αντικαθιστούμε στην αρχή τους τύπους των επιθέσεων με τις κατηγορίες τους και στη συνέχεια δουλεύουμε με 5 τιμές για τη κλάση?
Ή φτιάχνουμε classifiers για 24 τιμές και μετά ομαδοποιούμε τις αντίστοιχες γραμμές στον confusion matrix?

Ότι θες κάνεις

Αν μπορεσεις να κανεις μοντέλλο που αναγνωρίζει εκτός από τον τύπο (τι απο τα 5) και το είδος (τι απο τα 24) μαγκιά σου

Το καλύτερο που έχεις να κάνεις είναι να δοκιμάσεις και τις 2 επιλογές και να δεις ποια από τις 2 συμπεριφέρεται καλύτερα (την 2η μπορεις να την ανάγεις στη 1η) και επιλέγεις ανάλογα

Αν θες να play safe, κάνε ότι κάναν στο διαγωνισμό

οταν αποθηκευω ενα μοντελο στο weka, μετα πως μπορω να το ελέγξω με ενα αλλο σετ ελεγχου??

βρέθηκε ο άνθρωπος που θα μας λύσει όλες τις απορίες!!! Friend Request ΤΩΡΑ!!!!!
κ. Συμεωνίδη ίσως γνωρίζετε λιγότερα από τον...

https://www.facebook.com/people/WeKa-Lee/100000576273278 

Καλημέρα!
Χρησιμοποίησε κανείς CVParameterSelection για να βρει το C για το SMO??

Έκανα 10,5 ώρες για να κάνει built το μοντέλο και τώρα μου βγάζει όλο not responding κι επανέρχεται μόνο του χωρίς όμως καμία εξέλιξη.... Στην αρχή είχα το num folds -1 και τώρα το έκανα 5 μήπως βγάλω κανένα αποτέλεσμα...

Καμιά καλύτερη ιδέα?

SMO ?

Είναι ο svm στο weka  ;)

ΞεDone!

Αν μπόρεσε κανείς να βρει το C ας το πει και σε μένα :-)

γιατί δεν δουλεύεις με το default c=1;

Το C τελικά βρέθηκε... το θέμα είναι ότι στο bagging και boosting (είχε καλά αποτελέσματα η ταξινόμηση), αργεί τρομακτικά να τρέξει....
Διάλεξε κανείς τον svm για να κάνει boosting και bagging?