THMMY.gr

Εκφώνηση 1ης εργασίας
23 Οκτ 2015 3:04 μμ
Διαμαντόπουλος

Στην  Ενότητα  "Υλικό  Μαθήματος"  ->  "Εργασίες  Μαθήματος"  ->  "Ταξινόμηση  -  Πρώτη  εργασία"  θα  βρείτε  την  εκφώνηση  της  1ης  εργασίας  του  μαθήματος.
Υπενθυμίζεται  ότι  άμεσα  πρέπει  να  δηλωθείτε  στην  εργασία  ("Υποβολή  Εργασιών"  ->  "Ταξινόμηση").

είναι λίγο εκτός πραγματικότητας ή μου φαίνεται;

Δηλαδή; :???:

Περίμενε να δεις και τη δεύτερη εργασία :D ;D :D ;D

Εμένα η φετινή 1η, πάντως, μου φάνηκε αρκετά απλή και σε λογική/σκέψη και σε υλοποίηση.

Αν εξαιρέσεις το σημείο όπου πρέπει να κάνεις 6 φορές το ίδιο πράγμα.  :P

Που; :o

Ε οκ, η δουλειά που χρειάζεται ο καθένας απο τους 6 "διαφορετικούς" τρόπους είναι να σχηματίσεις 2 διαγράμματα και 4 κλάσματα, δεν είναι κάτι φοβερό.

Είμαι της άποψης πάντως πως οποιαδήποτε εργασία περιέχει 5 goto στην εκφώνησή της είναι λίγο γτπ.   :(

Ισχύει, γενικά δεν λέει. Αλλά καλύτερα να έχει λίγες εντολές μεταξύ του goto και του label, όπως εδώ :P

το weka ειναι τοσο cheat οσο φαινεται?

γιατι απ'οτι φαινεται μπορει να γινουν ολα τα ζητουμενα της εργασιας μεσω του GUI του, χωρις γραμμη κωδικα...

Και στη Matlab έτσι είναι :P

Γιατί δεν έχουμε τα bugs για τα δεδομένα του test set? Πως θα μπορεσουμε να ελέγξουμε αν την ακρίβεια των αποτελεσμάτων?

Γιατί τα δεδομένα στο αρχείο "source-code-metrics_test.csv" δεν είναι για να τεστάρεις εσύ κάτι, είναι απλά για να εφαρμόσεις το μοντέλο σου σε αυτά τα δεδομένα και να παράγεις τα αντίστοιχα bugs, τα οποία θα παραδώσεις σε ένα .csv αρχείο. Είναι για να τεστάρουν αυτοί, δηλαδή, πόσο καλό είναι το τελικό μοντέλο που έφτιαξες.

ευχαριστούμε πολύ!

Μπορεί κάποιος να εξηγήσει τι είναι το κάθε αρχείο που έχει το Dataset?

• source-code-metrics_train.csv: περιέχει τις 18(?) μετρικές που περιγράφει το dataset.pdf για 800(?) έργα λογισμικού (training examples)
  
• source-code-metrics_test.csv: τα ίδια για 198 διαφορετικά έργα λογισμικού (testing set)
  
• bugs_train.csv : περιέχει την "απάντηση" στα 800 training examples, δηλαδή το παράδειγμα της 1ης γραμμής του source-code-metrics_train.csv έχει bug αν η 1η γραμμή του bugs_train.csv είναι 1, αλλιώς δεν έχει bugs.

Απαντήσεις για το test set δεν μας δίνει. Λογικά, πρέπει να εκπαιδεύσουμε αλγορίθμους με ένα μέρος του training set και να κάνουμε cross-validation στα υπόλοιπα. Αφού βρούμε τις πιο αποτελεσματικές παραμέτρους και επιλέξουμε μοντέλα, τα εκπαιδεύουμε με ολόκληρο το training set και του τα παραδίνουμε ώστε να βγάλει το accuracy, το οποίο προέρχεται από τα source-code-metrics_test.csv ως είσοδο.

Σχόλιο: Το formatting είναι λίγο κακό. Σε python, weka και matlab (R δεν ξέρω, excell είναι οκ) τα csv χωρίζουν εγγραφές με κόμμα, και τα αρχεία έχουν semicolon. Οπότε ή κάνεις replace all με άλλο εργαλείο ή ρυθμίζεις το πρόγραμμα να χωρίζει στο ; και όχι στο ,

ευχαριστωω..

περιπου τι confusion matrices βγαζετε παιδια? εμεις τα καλυτερα που εχουμε καταφερει (με πινακες κοστους και fine tuning) ειναι περιπου:

620 120
60  100

θεωρειται καλο αυτο το νουμερο?

Αφήνοντας στην άκρη τα απόλυτα νούμερα, τα ποσοστά κάπου εκεί βρήκαμε και εμείς να κυμαίνονται (με fine-tuning). Τώρα αν είναι καλά αυτά τα νούμερα, είναι άλλη υπόθεση :P

Το preprocessing εχει νοημα μονο για να μειωσεις τον ογκο των δεδομενων που θα επεξεργαστεις?

Όχι, μπορείς να βοηθήσει και κατά τη διαδικασία του training με αποτέλεσμα να οδηγήσει σε καλύτερο μοντέλο (που θα κάνει καλύτερο classification και, επομένως, θα έχεις καλύτερα αποτελέσματα).

Παιδια η ερώτηση που έχω είναι "σχετική". Μπορεί κάποιος που έχει δουλέψει να μας πει περίπου σε πιο ποσοστό μπορούμε βάση των δεδομένων μας να οδηγηθούμε στο accuracy?

το γενικό ποσοστό ως νουμερο δεν λεει και πολλα, αποσο εχω καταλαβει
δηλαδη, στα δικα μας δεδομενα, αν τα προβλεψεις ολα ως οτι δεν εχουν μπαγκς, τοτε εχεις ποσοστο επιτυχιας 79%, το οποιο ακουγεται καλο, αλλα δεν ειναι

αυτο που κοιταμε στην δικη μας ομαδα τουλαχιστον ειναι ο πινακας συγχυσης, εξεταζοντας ποσα false positives και ποσα false negatives εχουμε καθε φορα. εμεις θεωρησαμε σωστο και εστιαζουμε στο να εξαλειφθουν περισσοτερο τα false negatives (δηλαδη να προβλεψει ο αλγοριθμος οτι δεν εχουν λαθη τα αντικειμενα, ενω οντως εχουν), κατι που μπορει να προσαρμοστει σχετικα ευκολα με τους πινακες κοστους.

χρήσιμο εργαλείο για online convertion αρχείων από csv μορφή σε arff μορφή για να χρησιμοποιηθεί στο weka (http://slavnik.fe.uni-lj.si/markot/csv2arff/csv2arff.php)

χρησιμοποίησε κάποιος smote?

Οι εγγραφές είναι περιπου 650 μηδέν και 150 άσσοι.
Θα δουλεψουμε με όλο το dataset  ή θα κάνουμε εξισορρόπηση όπως λέει και στην εκφώνηση π.χ με υποδειγματοληψία ή υπερδειγματοληψία ?

Όπως θες γενικά, δεν υπάρχει μία σωστή λύση. Ότι σου βγάζει καλύτερα αποτελέσματα.

Όταν λες υπερδειγματοληψία, τι φάση;

Εγω

Μπορεί κάποιος να ανεβάσει τα αρχεία σε arff μορφή αφού έχει προσθέσει την κλάση bugs? Το weka δεν μου δέχεται αυτά που έχω βγάλει από το εργαλείο που τα κάνει convert.

train μαζί με bugs στο τέλος

Thanks αλλά ενδιαφέρομαι πιο πολύ για το αρχείο test με την κλάση bugs μέσα για τα πειράματα.

http://www.cs.waikato.ac.nz/~ihw/

ο weka-τύπος από νεα ζηλανδία πόσο γαμάτος είναι

Matlab/R μoνo ρε,τι weka με gui και μ@λ@κιες  :D

αυτό δεν υπάρχει. για το αρχείο test δεν έχουμε πληροφόρηση σε ποια κλάση ανήκουν τα στοιχεία του.

άμα το κάνω με weka υπάρχει κάτι που πρέπει να παραδώσω ως πηγαίο κώδικα (επειδή το ζητάει στην εκφώνηση);

++ έχει κανείς ιδέα γιατί έχει αποκλεισμένους τους πιο πολλούς classifiers στο weka για το αρχείο source-code-metrics; -> πρέπει να κάνεις την κατηγορία bugs από numeric σε nominal

ρωτήσαμε κ μας είπε να περιγράψουμε απλά κάθε φορά τι κάνουμε κ να βάλουμε τα αντίστοιχα printscreens

Εφόσον έχουμε συνεχή δεδομένα η διακριτοποίηση θα γίνει με διαχωρισμό σε διαστήματα για να βρούμε το καλύτερο GINI; Μήπως υπάρχει καλύτερος/άλλος τρόπος;

αν θες να έχει μέσα την κλάση bugs με ? στο συννημένο

έχει κανείς εικόνα αν το weka είναι χειρότερο/καλύτερο/αντίστοιχο εργαλείο με matlab/python κλπ;

το weka ειναι κλικ-κλικ με ετοιμους αλγοριθμους - βγαλε τα συμπερασματα σου :D

Γνωρίζει κανένας αν μπορώ να εισάγω πίνακες κόστους, ώστε ο αλγόριθμος ταξινόμησης να μπορέσει να εξαλείψει τα false-positives errors (σαν το παράδειγμα με τις πιστωτικές που είχε αναφέρει στο μάθημα)? Η χρησιμοποιώ τους πίνακες κόστους μόνο για την τελική αξιολόγηση του μοντέλου?

Αν μπορεί να γίνει το πρώτο, δώστε κάποια πληροφορία πως μπορώ να εισάγω αυτούς τους πίνακες κόστους, τόσο στο Weka όσο και στο Matlab.

Μπορείς να μου εξηγήσεις πως κατάφερες να βάλεις το bugs με ? στο τέλος ;;;  :???:

Με το χέρι πείραγμα του arff

Μπορεί κάποιος να βοηθήσει στο κομμάτι του test set? Με την ομάδα μου γεμίσαμε μια επιπλέον στήλη βugs με ερωτηματικά όταν όμως εισάγουμε το τεστ σετ για να κάνουμε το  prediction των instances το αποτέλεσμα κάτω στις μετρητικές είναι όλο μηδέν. Επίσης δεν μας βγάζει ουτε μοντέλο για να το επικυρώσουμε..

1) Κατεβάζεις το αρχειο απο το παιδι που το ανεβασε μια σελίδα πίσω
2) Εκπαιδεύεις ένα μοντέλο και το αποθηκεύεις με δεξι κλικ -> save model
3)Ανοίγεις το test set και του βγαζεις όσα attributes είχες βγάλει και από το train και κανεις με το φιλτρο numeralToNominal την bugs nominal και το αποθηκευεις.
4)Πας στο classify και πατας στο result list, δεξι κλικ -> load model
5)Από πάνω επιλέγεις supply test set και ανοιγεις αυτό που μόλις αποθήκευσες και στο more options επιλέγεις output predictions
6)Πανω στο μοντελο που εκανες load, πατας δεξι κλικ -> re evaluate model
7)Αν όλα πήγαν καλά, θα δείτε δίπλα σε ποια κλάση μπήκε το κάθε instance και με ποια πιθανότητα (αυτή με το αστεράκι)
8) Αν όχι, τότε κάποιο από τα attributes σας στο train set ήταν ή έγινε nominal (από το discretize ισως) και δεν υπάρχει αντιστοίχηση με την κλάση του test set. (οι κλάσεις στα δύο σετ πρέπει να είναι ίδιες και στο είδος και αν ειναι nominal να έχουν και τον ίδιο αριθμό στα labels)

όλα αυτά αναφέρονται στον explorer του weka

μπορεις να το κανεις και απο το excel ! copy paste την στηλη bugs απο το bugs_train και τα κανεις ολα τα κελια κενα

edit : απλα οταν το μετατρεψεις σε arff αν οι αγκυλες στο" @attribute bugs" είναι κενές καντες { false , true }

Κάποιος που έχει κάνει πειράματα με τον J48, μπορεί να πει μετά τις βελτιώσεις του τι ποσοστό επιτυχίας παίρνει;

Όταν τρέχουμε το test με το model εμφανίζεται τιμή στο actual? Εμάς μας βγάζει σε όλα ?.

Any ideas πώς βάζω cost matrix matlab στο ann toolbox?

και καλά σας κάνει  :P

από την στιγμή που δε ξέρει τις πραγματικές τιμές βγάζει μόνο τις προβλέψεις. Στο train όμως που ξέρει τι θα έπρεπε να είναι βγάζει και τα 2, την πραγματική και την πρόβλεψη. Και από εκεί βλέπεις ποσοστά επιτυχίας κλπ πχ

να ρωτησω κατι
απ οτι εχει κανει και στα μαθηματα εχεις την δυνατοτητα στο cost matrix αντι για μηδενικα να βαζεις αρνητικες τιμες για να επιβραβευεις στην ουσια το μοντελο σου
πρωτον αυτες ειναι οι αρνητικες τιμες ειναι απλα -1 ή μπορουνε να πανε και παρακατω;
και δευτερον με αυτον τον τροπο μερικα κοστη βγαινουν αρνητικα
τι παιζει τοτε;
το κραταμε ετσι και απλα οσο μικροτερο τοσο καλυτερο;
δεν μπορεσα να βρω κατι σχετικο στο google

το τελικό αρχείο test_bugs που θέλει θα έχει μόνο το prediction class?

Το id και το class, ναι. Με semicolon ανάμεσα.

Υπάρχει κάποιος τρόπος να παραχθεί αυτόματα αυτό το αρχείο από το Weka???  :???:

μπα. δεν ξέρω καν πως μπορείς να βάλεις τις εκτιμώμενες τιμές για την κλάση που εμφανίζει στο output prediction κατ ευθείαν στο excell. ελπίζω να μην χρειάζεται μια μια με το χέρι

εμεις κάναμε export το αρχείο όπως το εμφανίζει και μετά δυστυχώς ένα ένα. 189 τιμές είναι 60 ο καθένας  :D :D

εργοστάσιο παραγωγής το κάναμε (https://www.youtube.com/watch?v=8q-PAwwpus4)

Ρε μη γαμιεστε, find and replace all.
Ctrl+H στους περισσότερους editors.

Ή απλά μόνο Matlab, και όχι Weka :P

Για όσους χρησιμοποιήσατε τον ΚΝΝ, τι k χρησιμοποιείτε ;

Λίγο χαζή απορία... αλλά πόσες σελίδες αναφορά πρέπει να γράψουμε; Να εξηγήσουμε έναν έναν τους αλγόριθμους και τα μοντέλα κλπ;;;  :???:

Καθόλου χαζή απορία! Κι εγώ από την αρχή αυτό προσπαθώ να καταλάβω, περισσότερο ακόμα και από το ουσιαστικο αντικειμενο :P :P

εμας μας βγαινει περιπου 15 (με εικονες, συναρτησεις, εξωφυλλα, κλπ)

Εκεί κάπου και εμάς.