Task2006 _ Exercise 2... :)

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Admins]

Για αλλαγή του public name σας, επικοινωνήστε με έναν από τους Admins.

[poly1]

Στη δεύτερη άσκηση (την οποία τώρα ξεκινάω) αν έχει ασχοληθεί κάποιος ας βοηθήσει.

Συγκεκριμένα δοκιμάζω τους regressive και momentum του PART_B
(το momentum μου βγάζει καλύτερα αποτελέσματα.. is that true?)

Ποιές είναι οι recommended ποσότητες για τα frequency , epochs , learning rate ?

Ποιός είναι ο πιο λειτουργικός αριθμός εισόδων ? (με 2 μου δουλεύει καλούτσικα..με 5 χάλια)

μμμ.αυτά προς το παρόν..αν γνωρίζει κάποιος ας απαντήσει παρακαλώ


 

[TT_PTOLEMAIDA]

Ξέρω πολύ καλά GW BASIC.

Μπορώ να σε βοηθήσω σε κάτι κοπελιά...?

[poly1]

Ξέρω πολύ καλά GW BASIC.

Μπορώ να σε βοηθήσω σε κάτι κοπελιά...?

τι λεμε τωρα MW!

can u help or not..δεν εχεις ασχοληθει με την εργασια so u r off topic.

[Cyberkat]

Εγώ δοκιμάζω προς το παρόν τις έτοιμες συναρτήσεις που μας δίνει για την πρόβλεψη της λογιστικής χρονοσειράς που είναι χαοτική (labb2bp κλπ).
Έτσι όπως μας τις έχουν δώσει το sse δεν μειώνεται ποτέ, έτσι δεν είναι?

NINJA είχα ρωτήσει τον Τουλκερίδη και μου είχε πει ότι επειδή η συνάρτηση είναι χαοτική πρέπει να πάρουμε 10 ή και περισσότερες προηγούμενες τιμές και όχι μόνο 2.

Τώρα την παλεύω, αν βγάλω κάτι θα το δημοσιεύσω...

[poly1]

Ωχ το χαοτικό μοντέλο λες ε??

μμ θα το δοκιμασω κ γω τοτε..

καταρα 

[amatakos]

Την έχουμε δουλέψει την άσκηση αυτή με διάφορες παραμέτρους και για μεγάλο αριθμό εισόδων δίνει καλά αποτελέσματα. Δοκιμές για 10 ή και 20 προηγούμενες τιμές. Χρειάζεται και σχετικά μεγάλος αριθμός νευρώνων ανα στρώμα για να δώσει καλό αποτέλεσμα (8 ή και παραπάνω).

NINJA σε εμάς η traingd δούλεψε καλά ενώ η momentum όχι.

Ενδεικτικά καλά αποτελέσματα είχαμε πάρει με τις εξής παραμέτρους:
8 Στρώματα
20 Νευρώνες ανα στρώμα
Εκπαίδευση με back propagation (traingd)
Συνάρτηση απόφασης tansig
learnig rate 0.5
4000 εποχές

Παρακάτω δίνω και το διάγραμμα από πρόβλεψη 40 όρων.

Εσείς ποιές συναρτήσεις χρησιμοποιείτε; Αυτές από τις ασκήσεις των εργαστηρίων ή και τις πιο καινούριες που έχει το Matlab;

[poly1]

Αυτές των εργαστηρίων δε πρέπει να χρησιμοποιήσουμε ??? 

Δεν έχουμε κατασταλάξει ακόμα σε κάποια συγκεκριμένη συνάρτηση όπως καταλαβαίνεις..τα δοκιμάζουμε όλα..

Ευχαριστούμε για την πολύτιμη γνώμη σου 

[Netgull]

Δεν ξέρω αν είναι χαοτική η συνάρτηση, πάντως με 10 προηγούμενες εισόδους το δίκτυο σίγουρα εκπαιδεύεται...χαοτικά, δηλαδή δεν εκπαιδεύεται.

Τα καλύτερα αποτελέσματα τα πήρα με momentum, με καμιά 10-15 νευρώνια στο κρυφό στρώμα και 2-3 προηγούμενες εισόδους. Momentum μεταξύ 0.6 και 0.9, και learning rate μεταξύ 0.005 και 0.01. Πετυχαίνει ένα σφάλμα τις τάξης 0.001 σε 5000 επαναλήψεις.

Με δυο λόγια φαίνεται να δουλεύουν όλα πολύ καλά. Το μόνο που σκέφτομαι τώρα είναι μήπως θέλει 10 εισόδους και ας βγάζει μεγαλύτερο σφάλμα, για να μην έχουμε καμιά υπερεκπαίδευση...

Edit: Των εργαστηρίων πιστεύω και γω... Αφού έγινε ολόκληρη φασαριά για το 7!
Edit 2: 8 κρυφά στρώματα;;!;!

[amatakos]

Αυτές των εργαστηρίων δε πρέπει να χρησιμοποιήσουμε ??? 

Στην περιγραφή που έδωσαν λέει οτί μπορούμε να χρησιμοποιήσουμε ό,τι υπάρχει στο φάκελο nnet του matlab 6.5 . Εκεί έχει πιο καινούριες συναρτήσεις και ο κώδικας είναι πολύ πιο εύκολος. Έστειλα mail στον Τουλκερίδη γι'αυτό. Αν απαντήσει θα ενημερώσω.

[poly1]

ναι ναι θα κανω αυτο που λεει ο Νετγκαλ!!! αφου με αυτο ξεκινησα!

Ζητωωωωωωωωωωωωωωωω

και μενα 8 στρώματα μου φαίνονται πάρα πολλά!!!!!

Με δυο λόγια φαίνεται να δουλεύουν όλα πολύ καλά. Το μόνο που σκέφτομαι τώρα είναι μήπως θέλει 10 εισόδους και ας βγάζει μεγαλύτερο σφάλμα, για να μην έχουμε καμιά υπερεκπαίδευση...

Ωχ λές...ίσως όντως χρεεάζεται!

[Cyberkat]

Λοιπόν εγώ έβγαλα καλά αποτελέσματα με τις εξής παραμέτρους
Είσοδοι 15
Κρυφά στρώματα 10
err_goal=0.5
lr =0.5
Προσεγγίζει το επιθυμητό σφάλμα σε 5125 εποχές.

Το πρόβλημα είναι ότι τα αποτελέσματα είναι λίγο σκ@τ@. voila
Target    Actual
    Output    Output
 
   -0.0467   -0.1705
    0.3760    0.2396
   -0.3736   -0.2703
   -0.2386   -0.1847
   -0.0779   -0.0014
    0.2001    0.1574
    0.0898    0.0329
    0.3224    0.3232
   -0.1583   -0.1397
    0.2799    0.1864
   -0.1130   -0.1760
    0.3244    0.1508
   -0.2250   -0.1487
    0.1611    0.0355
    0.1114   -0.0664
    0.2905    0.2726
   -0.0603   -0.1232
    0.3702    0.2765
   -0.3575   -0.3050
   -0.1855   -0.1914
    0.0321    0.0994
    0.2395    0.2333
    0.0419    0.1208
    0.3637    0.3709
   -0.3046   -0.2741
   -0.0239    0.0654
    0.2059    0.1367
    0.0949    0.1202
    0.3198    0.2464
   -0.1487   -0.1279
    0.2927    0.3623
   -0.1445   -0.1997
    0.2903    0.3306
   -0.1367   -0.1973
    0.2999    0.1622
   -0.1607   -0.2455
    0.2695    0.1578
   -0.0870   -0.1700
    0.3455    0.2059
   -0.2831   -0.2619
    0.0296    0.0201
    0.2110    0.0849
    0.1012    0.0419
    0.3155    0.2626
   -0.1343   -0.1024
    0.3105    0.3000
   -0.1902   -0.3022
    0.2243    0.1736
    0.0082   -0.1332
    0.3670    0.2341
   -0.3260   -0.2286
   -0.0857    0.0600
    0.1679    0.1999
    0.1427    0.1114
    0.2554    0.2279
    0.0385   -0.0381
    0.3697    0.2900
   -0.3263   -0.3289
   -0.0858   -0.0105
    0.1678    0.1465
    0.1429    0.1711
    0.2550    0.2403
    0.0394    0.0463
    0.3693    0.3185
   -0.3245   -0.2903
   -0.0806   -0.1176
    0.1724    0.0540
    0.1372    0.1764
    0.2639    0.2083
    0.0162    0.0279
    0.3779    0.3414
   -0.3617   -0.3063
   -0.1972   -0.1190
    0.0099    0.1414
    0.2404    0.2198
    0.0334    0.0870
    0.3669    0.3881
   -0.3183   -0.2812
   -0.0626    0.0401
    0.1862    0.1022
    0.1194    0.1767
    0.2894    0.2362
   -0.0549   -0.0863
    0.3727    0.3224
   -0.3648   -0.2844

Netgull, νομίζω ότι χρειάζονται οι πολλές είσοδοι. Χωρίς να είμαι σίγουρη!

[poly1]

Λοιπόν ,  για το απλό (όχι χαοτικό) momentum με :

3500 εποχές , 0.05 error goal ,  0.005 learning rate κτλ..

10 εισοδους κ 10 στρωματα για το testing βγαζω
   
    Target    Actual
    Output    Output
 
    0.1862    0.1921
    0.1194    0.1049
    0.2894    0.2700
   -0.0549   -0.0729
    0.3727    0.3861
   -0.3648   -0.3347

καλο .. σχετικα

απο κει κ περα δε ξερω τι πρεπει να κανω για να βγαλω τις τιμες για t = 101 , 105 ktl

 :'(

[Cyberkat]

Ναι αυτό κι εγώ δεν έχω καταλάβει πως γίνεται. Αλλά προς το παρόν παλεύω να μειώσω το σφάλμα.
Με μια μιρκή μετατροπή στα παραπάνω το ελάχιστο σφάλμα που "πιάνω" είναι 0.1.
Ξέρετε περίπου πόσο είναι το αποδεκτό?
Επίσης η πρόσθεση επιπλέον κρυμμένου επιπέδου καταστρέφει και δεν βελτιώνει τα αποτελέσματα.

[Netgull]

Με momentum 0.6, learning rate 0.01, ένα κρυφό στρώμα με 10 νευρώνες και 2 προηγούμενες εισόδους και με τα πρώτα 75 δείγματα για εκπαίδευση πετυχαίνω σφάλμα 0.001 σε 3000 επαναλήψεις.

Γιατί να κάνουμε κάτι πιο πολύπλοκο;

Για τις επιπλέον τιμές προφανώς θα προβλέψεις την y(101) από τις y(100),y(99),y(98),y(97) κλπ κλπ, στη συνέχεια την y(102) από την y(101) που πρόβλεψες πριν και τις y(100),y(99),y(98) Κλπ κλπ κ.ο.κ.

[Turambar]

Πόσο σημαντικός είναι ο μειωμένος αριθμός επαναλήψεων;

και κάτι άλλο... αν ξεκινάς με έτοιμα βάρη, αντί για random, είναι λογικό ή ηλίθιο;
(άρχισαν τα ευφυή όργανα γουστάρω)