machine learning question

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

Για οποιοδήποτε πρόβλημα με register/login, στείλτε email στο contact@thmmy.gr.

[heavy melon]

Ποστάρω μια απορία σε machine learning που δε μπόρεσα να τη λύσω στο ινετ.
Πειραματίζομαι με ένα classification. Αρχικά από το dataset μου διαχωρίζω σε train & data sets.

Με κάποιους διαχωρισμούς κάνω train models που έχουν 90κάτι % test accuracy
ενώ με άλλο τυχαίο διαχωρισμό των δεδομένων μπορεί να έχω 70κάτι % test accuracy

Μήπως δε θα έπρεπε να υπάρχει τόσο μεγάλη απόκλιση όπως κι αν έπαιρνα τα δεδομένα?
Γενικά είναι σωστό να πω πχ ότι διαλέγω το τάδε μοντέλο που δίνει 90κάτι% ή ειναι λάθος? Από την άλλη δεν ξέρω φυσικά τι ποσοστό θα έδινε αν διαλέγαμε αλλιώς τα sets αλλά ούτε κι αν τέσταρα με περισσότερα test data (που δεν έχω διαθέσιμα)

[Vlassis]

Νομιζω οτι ειναι λογικο να υπαρχει τετοια διαφορα. Λογικα θα υπαρχει καποια σχεση αναμεσα στα data σου, ετσι οπως εγινε ο διαχωρισμος, που δινει τετοιο σφαλμα στο τελος.
Για το τι ειναι σωστο να πεις, δεν ξερω να σου πω την αληθεια.
Θα μπορουσες νομιζω για το training να χρησιμοποιησεις αλγοριθμους k-fold crossvalidation, για να παρεις ουσιαστικα καθε δυνατη (ή εστω αρκετες) περιπτωσεις διαχωρισμου και να σου δωσει καλυτερα αποτελεσματα

[heavy melon]

Ναι όταν κάνω training χρησιμοποιώ 5 cross validation με το train-data και μετά όταν αποφασίζω το μοντέλο, testάρω στα δεδομένα μου. Αλλά αν αλλάξω πχ τα δεδομένα με τα οποία θα κάνω training (% 5 cross validation) ενώ το accuracy του training δε διαφοροποιείται σημαντικά, το test accuracy σκαμπανεβάζει πολύ

[iason1907]

οταν κάνεις 5fold cross-validation βγάζεις μέσο όρο accuracy 90% ή σε κάποιο fold?
Ποσο είναι το train set error?

[heavy melon]

Καταρχάς, κάνω το 5fold cross validation με έναν κώδικα generated από ένα classification app του MATLAB. Εκεί απ' ότι είδα διαχωρίζει σε train & test set, και δε χρησιμοποιεί ένα 3ο, validation set που προτείνουν γενικά. 'Ετσι εγώ, χωρίς να είμαι βέβαιη ότι είναι σωστό, παίρνω το 80% πχ του συνολικού dataset, κάνω training με το 5fold cross validation, δίνει accuracy πχ με cubic SVM συνήθως το καλύτερο, γύρω στο 98%. Μετά κάνω prediction με new data με αυτό το μοντέλο κ τότε στην καλύτερη έχω δει 93% test accuracy. Αλλά μάλλον έχει να κάνει με το διαχωρισμό των set. Γιατί αν το ξαναχωρίσω randomly, μπορεί να πάρω 73% test accuracy.

[iason1907]

μπορεις να κανεις το εξής.

Από το σύνολο των δεδομένων σου κράτα στην άκρη ένα ποσοστό για τεστ και μόνο. Random επιλογή δειγμάτων (test set).

Με τα υπόλοιπα (train set) εκπαίδευσε ένα μοντέλο και δες τι accuracy πετυχαίνεις με αυτό το μοντέλο στο train set?.

Χώρισε μετά το train set σε 5 κομμάτια και πάρε διαδοχικά τα 4 για εκπαίδευση ενός μοντέλου και το άλλο κομμάτι κράτα το για τεστ. Με αυτό τον τρόπο θα βγάλεις 5 τιμές accuracy, ποια είναι η μέση τιμή?

προτείνω να χρησιμοποιήσεις αν δεν το κάνεις ήδη τις συναρτήσεις της libsvm για την matlab. Η svmtrain κάνει κατευθείαν και cv με όσα folds θες

[Dealan]

Αυτό που περιγράφεις δεν είναι ακριβώς το 5fold cross validation που εφαμρόζει η heavy melon; Ή λάθος θυμάμαι;

[heavy melon]

μπορεις να κανεις το εξής.

Από το σύνολο των δεδομένων σου κράτα στην άκρη ένα ποσοστό για τεστ και μόνο. Random επιλογή δειγμάτων (test set).

Με τα υπόλοιπα (train set) εκπαίδευσε ένα μοντέλο και δες τι accuracy πετυχαίνεις με αυτό το μοντέλο στο train set?.

Χώρισε μετά το train set σε 5 κομμάτια και πάρε διαδοχικά τα 4 για εκπαίδευση ενός μοντέλου και το άλλο κομμάτι κράτα το για τεστ. Με αυτό τον τρόπο θα βγάλεις 5 τιμές accuracy, ποια είναι η μέση τιμή?

προτείνω να χρησιμοποιήσεις αν δεν το κάνεις ήδη τις συναρτήσεις της libsvm για την matlab. Η svmtrain κάνει κατευθείαν και cv με όσα folds θες

Ευχαριστώ πολύ καταρχάς για τις απαντήσεις
Αλλά μπερδεύτηκα. Τα 2 bold που αναφέρεις είναι διαφορετικά; Επίσης ναι, αυτό το κάνει η fitcsvm (η svmtrain έχει γίνει removed)

[iason1907]

@dealan, αυτό που περιγράφω είναι το c.v., απλά προτείνω να δούμε την μεση τιμή.

@βαρυπεπόνι, αν θες κατέβασε από εδώ τον κώδικα που δίνει για matlab και τρέξε. Δεν έχω χρησιμοποιήσει την fit

τα 2 bold ειναι διαφορετικά. Το δεύτερο τεστ αναφέρεται στο 1/5 που αφήνεις εκτός σε κάθε fold.

[heavy melon]

@dealan, αυτό που περιγράφω είναι το c.v., απλά προτείνω να δούμε την μεση τιμή.

@βαρυπεπόνι, αν θες κατέβασε από εδώ τον κώδικα που δίνει για matlab και τρέξε. Δεν έχω χρησιμοποιήσει την fit

τα 2 bold ειναι διαφορετικά. Το δεύτερο τεστ αναφέρεται στο 1/5 που αφήνεις εκτός σε κάθε fold.

οκ, κοίτα ο ΜΟ που προτεινεις (accuracy στο training), επειδη το εχω τρεξει αρκετες φορες υψηλος θα ειναι. τυπου 96-97-98%
To πρόβλημα είναι ότι στο test είναι μεγάλη η απόκλιση. Εμάς στο test δε μας νοιάζει τι συμβαίνει περισσότερο?

[iason1907]

οκ, κοίτα ο ΜΟ που προτεινεις (accuracy στο training), επειδη το εχω τρεξει αρκετες φορες υψηλος θα ειναι. τυπου 96-97-98%
To πρόβλημα είναι ότι στο test είναι μεγάλη η απόκλιση. Εμάς στο test δε μας νοιάζει τι συμβαίνει περισσότερο?

πριν κάνεις τον αρχικό διαχωρισμό σε train και test set, ανακατεύεις τα δεδομένα ή όχι?

[adiaforos]

οκ, κοίτα ο ΜΟ που προτεινεις (accuracy στο training), επειδη το εχω τρεξει αρκετες φορες υψηλος θα ειναι. τυπου 96-97-98%
To πρόβλημα είναι ότι στο test είναι μεγάλη η απόκλιση. Εμάς στο test δε μας νοιάζει τι συμβαίνει περισσότερο?

ναι στο τεστ σετ σε ενδιαφερει,το προβλημα ισως ειναι οτι γινεται οβερφιτινγκ στο τρεινινγκ σετ

[heavy melon]

πριν κάνεις τον αρχικό διαχωρισμό σε train και test set, ανακατεύεις τα δεδομένα ή όχι?

"ανακατεύεις" τι εννοείς;
Τα διαλέγω αναλογικά από κάθε κλάση (περισσότερα από την κλάση με τα περισσότερα δεδομένα)
με μια randsample().

Επίσης το κουλό είναι ότι έκανα στατιστική ανάλυση (t-test) για να διώξω features, κι ενώ μου έμειναν μόνο 55 από τα 1300κάτι,
έχω ίδια test accuracy 

[c0ndemn3d]

Precision και recall τι έχεις; Το accuracy δεν είναι το μόνο που μετράει αν δεν είναι γενικά καλό το train set που έχεις. Καλύτερα είναι να βλέπεις σε πίνακα τα FP και FN και να συγκρίνεις από εκεί. Αλλιώς πρέπει να δώσεις παραπάνω πληροφορίες για το set που έχεις, διότι θα μπορούσε να είναι το οτιδήποτε. Φυσικά με ένα train set που καλύπτει μεγαλύτερο μέρος του χώρου θα έχεις καλύτερο accuracy σε ένα πιθανό test set. Ή από την άλλη αν το test set που έχεις έχει πολύ τετριμμένες τιμές είναι πολύ πιθανό να παίρνεις καλό accuracy χωρίς να έχεις κάνει καλό training.


precision kai recall ti exeis? to accuracy den einai to mono pou metraei an den einai genika kalo to train set pou exeis. Kalitera einai na vlepeis se pinaka ta FP kai FN kai na sigkrineis apo ekei. alliws prepei na dwseis parapanw plirofories gia to set pou exeis, dioti tha mporouse na einai to otidhpote. fisika me ena train set pou kaliptei megalitero meros tou xwrou tha exeis kalitero accuracy se ena pithano test set. i apo tin allh an to test set pou exeis exei poli tetrimmenes times einai poli pithano na pairneis kalo accuracy xwris na exeis kanei kalo training.


(sry den exw ellhnika)

mod: greeklish to greek, το original είναι τα ψιλά γράμματα

[iason1907]

"ανακατεύεις" τι εννοείς;
Τα διαλέγω αναλογικά από κάθε κλάση (περισσότερα από την κλάση με τα περισσότερα δεδομένα)
με μια randsample().

Επίσης το κουλό είναι ότι έκανα στατιστική ανάλυση (t-test) για να διώξω features, κι ενώ μου έμειναν μόνο 55 από τα 1300κάτι,
έχω ίδια test accuracy 

Αυτό εννοώ για την επιλογή των δεδομένων. Ότι διαλέγεις τυχαία  και όχι fv στην σειρά