THMMY.gr

Μήπως μπορεί κάποιος να με βοηθήσει;  8))
Εχω διαβάσει τις σημειώσεις που είναι ανεβασμένες
στο ethmmy αλλα δε μπορω να απαντήσω στις ερωτήσεις που έβαλε το φεβρουάριο...

> 1. Τι σημαίνει εκπαίδευση με όλα τα δείγματα και τί με ένα ένα;
Το πρώτο σημαίνει (batch training) ότι περνάνε όλα τα δείγματα από τα 
στρώματα του νευρωνικού, υπολογίζονται οι αποκλίσεις του output του 
νευρωνικού σε σχέση με τις επιθυμητές τιμές-στόχους και βάσει ενός 
μέτρου που συνυπολογίζει όλα τα σφάλματα (όπως το μέσο τετραγωνικό 
σφάλμα) γίνεται η ανανέωση των βαρών πηγαίνοντας προς τα πίσω 
(backwards).
Στη δεύτερη περίπτωση (pattern-by-pattern training), εισάγεται ένα 
δείγμα τη φορά, στη συνέχεια υπολογίζεται το σφάλμα του output από την 
επιθυμητή τιμή-στόχος, έπειτα ανανεώνονται τα βάρη (backwards) και 
συνεχίζουμε με το δεύτερο δείγμα και ούτω καθεξής.
 
>
> 2. Ένα ΤΝΔ με 3-6-7 με πολώσεις πόσες ανεξάρτητες μεταβλητές έχει;
Εάν εννοείς με τον όρο ανεξάρτητες μεταβλητές τις εισόδους του 
νευρωνικού και εάν το 3 στην τοπολογία σου εκφράζει τον αριθμό των 
κόμβων στο στρώμα εισόδου, τότε έχει τρεις μεταβλητές.
 
>
> 3. Έχω ένα σύνολο εκπαίδευσης με 1000 δείγματα. Για να εκπαιδεύσετε 
> ενα ΤΝΔ σε ένα πρόβλημα εκμάθησης συνάρτησης με 3 ανεξάρτητες 
> μεταβλητές και 2 εξόδους ποιό από τα παρακάτω ΤΝΔ δίκτυα θεωρείτε 
> πιο κατάλληλο και γιατι;
> α. 3 - 18 - 10 - 2
> β. 3 - 100 - 2
> γ. 3 - 15 - 2
>
Αυτή η απάντηση είναι υποκειμενική και θέλει τεκμηρίωση. Δες για 
παράδειγμα το link http://www.heatonresearch.com/node/707

kala ta leei o sunadelfos, alla re paidia sumfona me auto pou leei o petridis den prepei na einai N/10 dld na epile3w to b? 100 krifous neurones se ena stroma den paizei uperekpaideush? apo thn allh otan kaname to simulation stis ergasies pio polu mou kanei h apantish a, h esto h c re paidaki mou, wtf? to epsa3e kanas allos?

Η α χρησιμοποιει 3 στρωματα, οποτε σε συγκριση με την γ ειναι λιγακι υπερβολικη νομιζω...
Εγω θα ημουν αναμεσα στο β και το γ (το β επειδη ειπες εσυ ανδρεα οτι υπαρχει τυπος, αλλιως κατευθειαν το γ θα διαλεγα...)

ahh nai re su, ti mlkas, einai 4 stromata indeed twra to prose3a! :S kala kai auto me ton tupo mhn eisai toso sigouros kai mena to auti mou thn vivlio8iki ton pire....

parolafta yparxei k pollaplis sta themata tou proigoumenou etous

ara einai dedomeno(?) oti yparxei diasyndesi metasky deigmatwn k nevrwnwn kryfou strwmatos

to thema einai poia????????

εγω σε κατι σημειωσεις βρηκα οτι ενας προσεγγιστικος τυπος για τον αριθμό των νευρώνων προκύπτει από:

      Ν > W/e όπου N:αριθμός εισόδων, W:αριθμός βαρών, e: σφαλμα που θέλω να πετύχω

αν N=1000 για e=0.1 προκυπτει W < 100

αφου εχω 3 εισόδους W = 3*αριθμός_νευρώνων

άρα αριθμός νευρωνων προκυπτει μικροτερος απο 33 αρα το γ

βεβαια ολο αυτο ισχυει αν υποθεσουμε τον παραπανω τυπο.
 

N deigmata exw, epilegw N/10 barh, dld 100

meta paw kai ypologizw se ka8e erwtima posa barh 8a exw?

sto c vgenei 75 , opote genika einai konta sto 100 opote eimaste cool, etsi monizw :P

Η διαμάχη επανέρχεται στο προσκήνιο!!  :P

6ο Θέμα Φλεβάρης 2010

my point of view και αιτιολογηση

Ν=1000 δείγματα

περίπτωση 1 : 3-18-10-2  έχω 4 στρώματα  254 βάρη και 30 κατώφλια άρα 254 παραμετρους
περίπτωση 2 : 3-100-2  έχω 3 στρώματα  500 βάρη και 102 κατώφλια άρα 602 παραμέτρους
περίπτωση 3 : 3-15-2 έχω 3 στρώματα 75 βάρη και 17 κατώφλια άρα 92 παραμετρους

Η πρώτη περίπτωση απορρίπτεται γιατι έχει 4 στρώματα και έχει αρκετά βαρη.
Η δεύτερη περίπτωση έχει υπερβολικά πολλούς νευρώνες ακόμη και για 1000 δείγματα άρα πιθανότατα η απόκριση θα ααργήσει πάρα πολύ και θα οδηγήσει σε υπερεκπαίδευση.
Η τρίτη περίπτωση φαίνεται να είναι η βολικότερη γιατι έχει 92 παραμέτρους (1000/92 =10,8 άρα είμαστε ΟΚ και με τον προσεγγιστικό τύπο Ν/10). Φαίνεται να επαρκούν χωρίς να προκαλούν υπερεκπαίδευση και να καθυστερούν την απόκριση του δικτύου.

Συμφωνείτε???

Ναι συμφωνουμε με τη διαφορά ότι το στρώμα εισόδου δεν θεωρείται στρώμα ακριβώς γιατι δεν εχει νευρώνες  :P

παιδες 2 ερωτησουλες αν ξερει κανεις:
1ον αν το σφαλμα παρουσιαζει ταλαντωση θα μειωσουμε το βημα εκπαιδευσης. μπορει καποιος να μου πει γιατι? μια μικρη επεξηγηση..
και 2ον αν το δικτυο παρουσιαζει υπερεκπαιδευση πως το διορθωνουμε? ευχαριστω  :)

Όσον αφορά την υπερεκπαιδευση μπορείς να κάνεις τα εξής:

1) Μειώνεις το χρονο εκπαιδευσης του δικτύου
2)Μειώνεις αριθμό νευρώνων στα κρυφά στρώματα ->μειώνεται αριθμός βαρών

να σαι καλα φιλε  :)