Ευφυή Συστήματα Ρομπότ ΘΕΜΑ 2006-07

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

Για οποιοδήποτε πρόβλημα με register/login, στείλτε email στο contact@thmmy.gr.

[JAs0n-X]

Λοιπον για τα νευρωνια εξοδου: Βαζεις οσα θες. Τον ρωτησα. Απλα αυτος προτεινει 3. Εμεις με τον λμ το καναμε και με 1.
αν βαλεις 3 τοτε να περιμενεις 001 , 100 ή 010 αν βαλεις 1 περιμενεις 1,2,ή3.

Για το preprocessing: Νομιζω σε εμας εφερε βελτιωση. Τσεκαρε προσεκτικα τον κωδικα σου. Εκπαιδευεται το δικτυο? Τι σφαλμα πιανεις για παραδειγμα στις 1000 εποχες και με τι αρχιτεκτονικη ? Βαλε την gda για αρχη για να συγκρινουμε.

Οσο για τα αλλα σετ εκπαιδευσης εγω δεν το εκανα αλλα ισως το κανει ενας συναδελφος της ομαδας.

[dictator23]

 Εγω παντως ρωτησα τον Συρρη στο εργαστηριο μετα τις καταληψεις για τις εξοδους και ειπε να ειναι 3 στο στυλ 0 0 1 κτλ γιατι το ειχα κανει και εγω με μια εξοδο και στυλ 1,2,3.Τεσπα καλου κακου θα τα κανω και με τους 2 τροπους δεν ειναι κατι φοβερο.
  Λοιπον κανω χρηση ενος δικτυου 3 Layer με (2hidden 1 layer εξοδου με 7,7,3 νευρωνες η 5,7,3 και συναρτησεις ενεργοποιησης tansig,tansig,purelin αντιστοιχα).Με τον trainlm το mse παει στο 1e-15 (10^(-15) σε λιγα epochs.Με τις αλλες train εντολες πιανει mse της πλακας 1e-2(10^(-2)).Αυτα ολα χωρις preprocessing.Αν κανω preprocessing παρολο που με trainlm το mse γινεται παλι πολυ μικρο σε λιγα epoch εντουτοις τα αποτελεσματα αν βαλω ως εισοδο τα τεστ δεδομενα ειναι οτι ναναι.Με τις αλλες train ουτε να το συζηταμε.
 Ο κωδικας με κανονικοποιηση(το πιο κρισιμο κομματι του ) :

net=newff(minmax(Input),[Nh1,Nh2,No],{Fh1,Fh2,Fo},Tf,Lf,Pf);

net.trainParam.show=10;       
net.trainParam.lr=0.1;         
net.trainParam.lr_inc=1.01;     
net.trainParam.lr_dec=0.9;     
net.trainParam.epochs=2000;   
net.trainParam.goal=1e-15;     

Ακολουθει ο κωδικας κανονικοποιησης:

[Inputn,minInput,maxInput,Targetn,minTarget,maxTarget]=premnmx(Input,Target);
net_tr=train(net,Inputn,Targetn);
Outputn=sim(net_tr,Inputn);
Output=postmnmx(Outputn,minTarget,maxTarget);
Testn = tramnmx(Test,minInput,maxInput);
Testn_result = sim(net,Testn);
Test_result = postmnmx(Testn_result,minTarget,maxTarget);

Και χωρις κανονικοποιηση(παραλειπω παλι τα load κτλ που ειναι στην αρχη):

net=newff(minmax(Input),[Nh1,Nh2,No],{Fh1,Fh2,Fo},Tf,Lf,Pf);

net.trainParam.show=10;       
net.trainParam.lr=0.1;         
net.trainParam.lr_inc=1.01;     
net.trainParam.lr_dec=0.9;     
net.trainParam.epochs=1000;     
net.trainParam.goal=1e-10;       

net_tr=train(net,Input,Target);
Output=sim(net_tr,Input);       
Test=sim(net_tr,Test);

Μερικες διευκρινισεις για τις μεταβλητες:

Tf μεταβλητη για την training function
Lf μεταβλητη για την learning function
Pf μεταβλητη για την performance function

Input αντιστοιχει στο winetrain.dat
Output αντιστοιχει στo dat εξοδου η (0 0 1 0 1 0 κτλ style εφοσον εχω 3 εξοδους αλλιως θα ητανε πινακας γραμμη 1 1 1 ... 2 2 2 .. 3 3 κτλ )
Test αντιστοιχει στο winetest.dat
Oσες μεταβλητες εχουνε το γραμμα n στο τελος ειναι κανονικοποιημενες

Αυτα τα λιγα...

[lars]

Εμείς κάναμε κανονικοποίηση των δεδομένων μόνο με χρήση της συνάρτησης normalization που έχει ανέβει στο eTHMMY και κανονικοποιεί μόνο τα δεδομένα εισόδου στα [0,1] ή [-1,1] (ανάλογα με τη συνάρτηση που χρησιμοποιείς στο hidden layer) και τα αποτελέσματα είναι αρκετά καλά. Για δοκίμασε και με αυτή μήπως βγάλεις άκρη..

Εγώ έχω απορία στο δεύτερο θέμα: Τι σφάλμα περίπου πρέπει να βάλουμε (βγαίνει αρκετά μεγάλο, αν και από τη γρ.παράσταση γίνεται αρκετά καλά η προσέγγιση της χρονοσειράς) και έχει κανένας ιδέα πόσες περίπου παρελθοντικές τιμές να χρησιμοποιήσουμε? Εμείς προς το παρόν χρησιμοποιούμε τις x(t-1),x(t-2)..

[JAs0n-X]

Το target vector δεν το κανονικοποιουμε και μεις. Απλα το φερνουμε στην μορφη 001 ...κλπ οποτε ειναι καλο.
Οποτε αν το βγαλεις δεν χρειαζεται και η postnmx.

και ΕΚΑΝΕΣ ΤΟ ΙΔΙΟ ΛΑΘΟΣ ΜΕ ΜΕΝΑ !!!!
Εκπαιδευεις το δικτυο στην μεταβλητη net_tr και κανεις simulate με το ανεπιδεκτο μαθησεως net !!! Γι αυτο στα test data παει χαλια!

Δες το:   Testn_result = sim(net,Testn);

Επισης τον lm ξεχνα τον. Εγω παντως και με τον gda επιασα καλο σφαλμα (10^-5) γρηγορα. Αλλα παρατηρησα οτι με τις logsig παει καλυτερα παιξε και μ αυτες!

Η δευτερη ειναι οντως πιο δυσκολη. Εμεις δοκιμασαμε πολλες παρελθοντικες...αλλα με 2,3 τα πηγαινε καλυτερα.

[dictator23]

Λολ!Τι να πω φιλε Ιασονα μπραβο μας!Νομιζω το παθαμε γιατι ειχαμε γνωμονα το παραδειγμα του toolbox! Σε ευχαριστω!

[tolos]

και ΕΚΑΝΕΣ ΤΟ ΙΔΙΟ ΛΑΘΟΣ ΜΕ ΜΕΝΑ !!!!
Εκπαιδευεις το δικτυο στην μεταβλητη net_tr και κανεις simulate με το ανεπιδεκτο μαθησεως net !!! Γι αυτο στα test data παει χαλια!

Αυτο δεν το καταλαβα. Εξηγει καποιος?

[dictator23]

 Tolos δες το ποστ μου με τον κωδικα εκει που λεει "Ακολουθει ο κωδικας κανονικοποιησης:" λιγο πιο κατω τη σειρα Testn_result = sim(net,Testn); .Οπου net πρεπει να μπει net_tr διοτι το εκπαιδευμενο δικτυο αν προσεξεις τον προηγουμενο κωδικα εχει αποθηκευτει στη μεταβλητη net_tr.Στη μεταβλητη net αποθηκευται αρχικα το ανεκπαιδευτο δικτυο.

[dictator23]

Θελω να ρωτησω κατι αλλο.Πχ βαζω μεγιστο αριθμο εποχων 2000 και mse (error goal) 1e-10 δηλ 10^(-10) και βαζω traingda,traingdm κτλ σταματαει η εκπαιδευση πριν τελειωσουν οι εποχες ενω δεν εχει φτασει το error goal.Μαλιστα σταματαει σε ενα συγκεκριμενο απο οσο παρατηρησα σημειο λιγο κατο απο το 10^(-6)!
 Εχει κανεις καποια ιδεα;Μηπως πρεπει να πειραξω καποια παραμετρο αλλη στις traingda,traingdm:

[dictator23]

Αφηστε το βρηκα!Μονος μου ρωταω μονος απανταω για το traingda υπαρχουν 5 συνθηκες που τερματιζει το training δειτε εδω κατω κατω: http://www.mathworks.com/access/helpdesk/help/toolbox/nnet/index.html?/access/helpdesk/help/toolbox/nnet/traingda.htm

[JAs0n-X]

μαλλον φτανει ελαχιστη κλιση. δοκιμασε να την ορισεις πιο μικρη.
(minimum gradient).

[dictator23]

 Το ειχα βρει πιο πριν αυτο που λες οταν εκανα το ποστ μου thx anyway Ιασονα!Τωρα με traingda,traingdx το σφαλμα πεφτει μεχρι 10^(-15).Με traingdm δεν παει καλα μολις παει στο 10^(-4)Το pattern που μου βγαζει ειναι 1η κλαση 11 κρασια,2η 16,3η 8 κρασια.Πριν με trainlm μου εβγαζε 11,15 και 9 αντιστοιχα.Αν εχετε να σχολιασετε οτιδηποτε καντε το!

[serafperd]

Αν κάποιος μπορεί να βοηθήσει σε μια πολύ βασική απορία, γιατί δεν βγάλαμε άκρη στο εργαστήριο: Από το tutorial του MATLAB (εκεί που επεξηγείται η συνάρτηση train) βγαίνει το συμπέρασμα ότι σημαντικά για την εκπαίδευση είναι τα training και validation set. Αυτό, διότι με το training set γίνεται η εκπαίδευση και μετά από κάθε epoch ελέγχεται με το validation set η περίπτωση overfitting ώστε να ενεργοποιηθεί το early stoping. Αντίθετα, το test set είναι κατά βάση περιττό. Απλά παρέχει κάποια αποτελέσματα του εκπαιδευμένου δικτύου για ένα διαφορετικό σετ από αυτά που χρησιμοποιήθηκαν στην εκπαίδευση (training και validation). Δηλαδή μπορεί και να παραλειφθεί, ειδικά στην περίπτωση των κρασιών, όπου έχουμε και το αρχείο wine_test.dat, με βαση το οποίο μπορούμε να επαληθεύσουμε τα αποτελέσματά μας, από τη στιγμή που ξέρουμε τι βγαίνει (11 1ης, 15 2ης, 9 3ης). Συμφωνεί κανείς με αυτά; Και αν όχι που κάνω λάθος; Ευαχαριστώ!

[JAs0n-X]

Δεν πολυκαταλαβα γιατι αυτο με το validation δεν το εχω διαβασει. Αλλα δεν νομιζω οτι χρειαζεται.
Η διαδικασια που ακολουθουμε ειναι:

train με ενα σετ δεδομενων
test με τα αλλα.

Αν εχει γινει overfitting θα φανει στο training (πολυ γρηγορη συγκλιση του αλγοριθμο ή παρα πολυ μικρο σφαλμα) και θα φανει στο testing (κακα αποτελεσματα). Οποτε validation κατα την εκπαιδευση για να εχεις early stop ισως και να μην χρειαζεται οπως και εσυ λες.

Να θυμισω οτι στα κρασια ΔΕΝ ξερουμε τα σωστα αποτλεσματα. ΟΚ εμεις τα βρηκαμε και στο ιντερνετ και ειναι οντως αυτα που λεμε αλλα δεν μπορεις να θεωρησεις οτι τα ξερεις. Απλα αν δεις ενα καλο classification (και οχι να ειναι αμφιβολλα) τοτε το δεχεσαι.

[serafperd]

Δεν πολυκαταλαβα γιατι αυτο με το validation δεν το εχω διαβασει. Αλλα δεν νομιζω οτι χρειαζεται.
Η διαδικασια που ακολουθουμε ειναι:

train με ενα σετ δεδομενων
test με τα αλλα.

Αν εχει γινει overfitting θα φανει στο training (πολυ γρηγορη συγκλιση του αλγοριθμο ή παρα πολυ μικρο σφαλμα) και θα φανει στο testing (κακα αποτελεσματα). Οποτε validation κατα την εκπαιδευση για να εχεις early stop ισως και να μην χρειαζεται οπως και εσυ λες.

Να θυμισω οτι στα κρασια ΔΕΝ ξερουμε τα σωστα αποτλεσματα. ΟΚ εμεις τα βρηκαμε και στο ιντερνετ και ειναι οντως αυτα που λεμε αλλα δεν μπορεις να θεωρησεις οτι τα ξερεις. Απλα αν δεις ενα καλο classification (και οχι να ειναι αμφιβολλα) τοτε το δεχεσαι.

μμμ...ναι, η αλήθεια είναι ότι και αυτός δεν ανέφερε τίποτα στο εργαστήριο για Validation set, οπότε μάλλον θέλει να το κάνουμε όπως λες. Οπότε, εκπαδεύουμε το δίκτυο με κάποια δεδομένα και τα υπόλοιπα (test set) τα χρησιμοποιούμαι σε simulation για να δούμε τι ποσοστό επιτυχίας βγάζει.

[JAs0n-X]

Δεν πολυκαταλαβα γιατι αυτο με το validation δεν το εχω διαβασει. Αλλα δεν νομιζω οτι χρειαζεται.
Η διαδικασια που ακολουθουμε ειναι:

train με ενα σετ δεδομενων
test με τα αλλα.

Αν εχει γινει overfitting θα φανει στο training (πολυ γρηγορη συγκλιση του αλγοριθμο ή παρα πολυ μικρο σφαλμα) και θα φανει στο testing (κακα αποτελεσματα). Οποτε validation κατα την εκπαιδευση για να εχεις early stop ισως και να μην χρειαζεται οπως και εσυ λες.

Να θυμισω οτι στα κρασια ΔΕΝ ξερουμε τα σωστα αποτλεσματα. ΟΚ εμεις τα βρηκαμε και στο ιντερνετ και ειναι οντως αυτα που λεμε αλλα δεν μπορεις να θεωρησεις οτι τα ξερεις. Απλα αν δεις ενα καλο classification (και οχι να ειναι αμφιβολλα) τοτε το δεχεσαι.

μμμ...ναι, η αλήθεια είναι ότι και αυτός δεν ανέφερε τίποτα στο εργαστήριο για Validation set, οπότε μάλλον θέλει να το κάνουμε όπως λες. Οπότε, εκπαδεύουμε το δίκτυο με κάποια δεδομένα και τα υπόλοιπα (test set) τα χρησιμοποιούμαι σε simulation για να δούμε τι ποσοστό επιτυχίας βγάζει.

ναι.
και απ οτι ειπε αυτος για να μαστε πιο σιγουροι στην αρχιτεκτονικη του δικτυου παιζουμε και με τα training και test sets λιγο...να δουμε οτι αν εκπαιδεύεται για άλλα δεδομένα βγάζει παλι σωστα αποτελεσματα.
βασικα αυτο ειναι βαρετο τωρα αλλα τσπ...
εμεις δεν το καναμε ακομα.