THMMY.gr

Εδώ μπορείτε να σχολιάζετε τα θέματα και
να συζητάτε τις όποιες απορίες σας πάνω σε παλιά θέματα των
Ευφυών Συστημάτων Ρομπότ.
(Τα παλιά θέματα υπάρχουν εδώ (http://www.thmmy.gr/index.php?option=com_docman&task=cat_view&gid=237&Itemid=45)).

Κοίταξε κανείς τα θέματα του Φεβρ. 2009?

Να τι βρήκα...

1) όχι
2) 3
3) 2
4) 3
5) 3
6) 1
7) 3
8) 1
9) 3
10) 4
11) 2
12) 3
13) 1
14) 3

Τι λέτε? Συμφωνείτε?

edit: διόρθωση

Στο 5 δεν ειναι σωστή απάντηση το 3;
Αφού για (x1,x2)=(0,0),(0,1),(1,0)  είναι x1w1+x2w2<h άρα y=0  και (x1,x2)=(1,1) είναι x1w1+x2w2=1>h άρα y=1.
Άρα είναι λογικό 'και'.

Κάνω λάθος;  :-\

Έχεις δίκιο... Το έχει και στις σημειώσεις... Το διορθώνω...

Επίσης στο 9, μήπως είναι το 1)υπερεκπαίδευση ?

Να και μια σελίδα με στοιχεία για νευρωνικά... http://www.willamette.edu/~gorr/classes/cs449/intro.html

Στο 9 σίγουρα είναι παράλυσh του δικτύου γιατί το u=Σxi*wi γίνεται πολύ μεγαλο και ετσι κατα συνέπερια και  το y γινεται πολύ μεγάλο και οδηγεί σε κόρο το y=1/(1+e^(-u))=1

Νομιζω οτι υπερεκπαιδευση εχει να κανει με τον αριθμο των νευρωνιων και το πληθος των δειγματων που εχουμε.Αυτο που λες εσυ συμβαινει οταν εχουμε υπερβολικα μεγαλο χρονο εκπαιδευσης και για να το διορθωσουμε αυτο απλα ελαττωνουμε το βημα εκπαιδευσης.

telika ti paizei me to 9o erwtima to eide kanenas? gt nomizw oti ta apopanw post lene mlkies? :P

edit, akuro epsa3a sto internet kai einai uperekpaideush cool

Κάτσε, με πολλά νευρώνια έχεις ΣΙΓΟΥΡΑ μεγάλο χρόνο εκπαίδευσης.

Το overfitness όμως, έτσι όπως το έχω καταλάβει, παρουσιάζεται αν οι νευρώνες "μάθουν" πολύ καλά ένα data set και δεν ανταποκρίνονται όπως πρέπει να τους δώσεις νέα δεδομένα. Άρα ποια η σχέση ανάμεσα στο overfit και στον αριθμό των νευρώνων?

Αλλά τώρα που το σκέφτομαι καλύτερα,περισσότεροι νευρώνες=περισσότερες παράμετροι για να δημιουργήσω την συνάρτηση εξόδου, άρα πιθανό πρόβλημα overfitting(αν έχω λίγα δείγματα όμως)

Γενικα οσο αυξανονται οι νευρωνες τοσο αυξανεται και η πιθανοτητα υπερεκπαιδευσης παντως, το ελεγε και στο εργαστηριο αυτος!

e nai alla ti apantas en telh?kuklwneis kai ta 2? :P

re twra pou ta blepete to topic dn lete kai thn apopsi sas gia auto?->
https://www.thmmy.gr/smf/index.php?topic=42119.msg781800#msg781800

Η παράλυση αναφέρεται κάπου στις σημειώσεις και δεν την βλέπω?
Γιατί λίγο που γκούγκλαρα βρήκα έναν ορισμό αλλά καμία σχέση με την 13 πχ

τσουκ δεν αναφέρεται.
Θα χρησιμοποιήσεις συνοπτικα συνοπτικά αυτό που λέει σαν θεμα το 2009 ή θα βρεις κάτι απλό λιτό και απέριττο απο το γοογλε και θα το γραψεις.

π.χ : "network paralysis = όταν ένα ή περισσότερα βάρη έχουν σταθερά υψηλές απόλυτες τιμές και δεν τροποποιύνται σε κάθε διόρθωση"

χμ εισαι σιγουρη πως το θελει τοοοσο λιτα?

μηπως βρηκε κανεις γιατι πρεπει να μειωνουμε το βημα εκπαιδευσης οταν παρατηρηθει ταλαντωση?

network paralysis (http://www.scribd.com/doc/64830021/55/Network-Paralysis)
"As the network trains, the weights can become adjusted to very large values. This can force all or most of the neurons to operate at large values of OUT, in a region where the derivative; of thesquashing function is very small, since the error sent back for training is proportional to thisderivative, the training process can come to virtual standstill. There is little theoreticalunderstanding of this problem. It is commonly avoided by reducing the step size η, but this extends training time. Various heuristics have been employed to prevent paralysis, or to recover from its effects, but these can only be described as experimental."

http://neurondotnet.freehostia.com/manual/learningrate.html
Γενικά ωραίο reference φαινεται.


Αυτό που κατάλαβα εγώ είναι ότι με μεγάλο learning rate ουσιαστικά μαθαίνει πολύ γρήγορα και τείνει να ξεχάσει ό,τι έμαθε
ως τώρα επομένως οι αλλαγές στην είσοδο του προκαλούν σημαντικές αλλαγές στο σφάλμα κάθε φορά. Ε σε κάποια φάση
μάλλον θα λαγκάρει και θα ταλαντώνεται :Ρ

Αυτό που έχω καταλάβει εγώ είναι οτι στην ταλάντωση, έχω μια συνάρτηση με πολλά τοπικά ελάχιστα και αρκετά μεγάλο βήμα εκπαίδευσης ώστε να πηγαίνει απο το ένα τοπικό ελάχιστο στο άλλο παραλείποντας κάποιες σημαντικές ενδιάμεσες τιμες.Αν μειώσω το βήμα εκπαίδευσης τότε θα ληφθούν υπόψη και τα όποια  τοπικά μέγιστα είχαν προηγούμενως παραλειφθεί και έτσι σταδιακά το σφάλμα θα ομαλοποιηθεί και θα συγκλίνει σε μια νορμάλ τιμή

Οταν εχουμε ενα ΤΝΔ με πολωση ξερει κανεισ πως βρισκουμε τα κατωφλια?

Νομίζω ότι το πρόβλημα με το μεγάλο βήμα εκπαίδευσης και τις ταλαντώσεις φαίνεται πολύ καθαρά στο http://www.willamette.edu/~gorr/classes/cs449/linear2.html στην ενοτητα The Learning Rate. Αν έχουμε πολύ μεγάλο βήμα εκπαίδευσης, σε μια απότομη κοιλάδα επειδή η μεταβολή του βάρους είναι ανάλογη της κλίσης μπορεί να απομακρυνόμαστε από το ελάχιστο αντί να το πλησιάζουμε! 

Τι εννοείς? Τον αριθμό τους ή τις τιμές τους?
you need to be more specific  :)

ο ρυθμός μάθησης d καθορίζει το πόσο γρήγορα συγκλίνει η μάθηση

μεγάλος ρυθμός μάθησης μπορεί να οδηγήσει σε μεγαλύτερη σύγκλιση, αλλά και σε ταλάντωση γύρω από βέλτιστες τιμές βαρών
αν έχω μεγάλη κλίση χρειάζομαι μικρή τιμή του η, αν έχω ταλάντωση μικραίνω το η μπορούμε να το δείξουμε από σχήμα με μεγάλη κλίση

το momentum το χρησιμοποιούμε για απεγκλωβισμό από κάποια ενδεχόμενη ταλάντωση

τώρα μικρός ρυθμός μάθησης έχουν σαν αποτέλεσμα πιο αργή σύγκλιση ενώ μπορεί να οδηγήσει σε παγίδευση σε τοπικά ακρότατα !!

πόλωση καταλαβαίνω ότι εννοεί το bias το οποίο όταν θες να πεις πόσες ανεξάρτητες μεταβλητές έχεις δεν χρειάζεται να τις αναφέρεις
άρα είναι μόνο ο αριθμός εισόδων που σου λέει
αυτο καταλαβαίνω τουλάχιστον

ποπο παιδια ο καθενας εγραψε κ κατι διαφορετικο... αν και νομιζω απ αυτα που βρηκα κ εγω οτι θα συμφωνησω με τον φιλο Cthulu

βασικα τα ιδια λέμε με αλλα λόγια :P

Η βασική εξίσωση του back propagation με Momentum είναι:

• ΔW=h (1+M) E / dW
• ΔW=h (1-M) E / dW
• τίποτα από τα παραπάνω

?

ακούω γνώμες

χμμ βασικα αριελ σε ενα ποστ σου πανω στο θεμα του 2010 6ο θεμα, ειχες πει οτι το 3ο ειναι πιο καταλληλο γιατι διαιρωντας τον αριθμο δειγματων "1000" με τον αριθμο παραμετρων βρισκουμε τιμη κοντα στο 10 που ειναι και ο τυπος που χρησιμοποιουμε προσεγγιστικα.. αυτος ο τυπος ομως δεν ειναι για τα βαρη? πχ για 1000 δειγματα /10 = 100 βαρη? εσυ γιατι το διαιρεις με τον αριθμο παραμετρων? δεν το επιασα αυτο :)

τίποτα από τα παραπάνω, γιατί πέρα από τον όρο της παραγώγου του σφάλματος, χρειάζεσαι και έναν weighted όρο με το ΔW τις προηγούμενης επανάληψης

τον τύπο θα τον έγραφα έτσι εγώ: ΔW(t+1)=η*ΔE/dW + α*ΔW(t)

Εδώ λέει κάποια πράγματα για momentum
http://neurondotnet.freehostia.com/manual/parameters.html#momentum
και συμφωνεί νομίζω με τον τύπο του Ex_Mechanus

τον αριθμο τους

αν το ήθελε αλλιώς ας το έγραφε στις σημειώσεις του  :P

Όσο για το θέμα με την επιλογή παραμέτρων, οκ ναι τυπικα βαζεις τα βαρη αλλά δεν εχουμε και πουθενά τον αυστηρό ορισμό.
Κι εγώ δεν ειμαι σίγουρη, γι'αυτο ποσταρα εδω μπας και....αλλά όλοι διαφορετική γνώμη έχουμε τελικά!

γουστάρω!!!

thmmy εισαι  ;)

(http://www.cheshireeng.com/Neuralyst/nnbgeq6.gif)
από εδώ: http://www.cheshireeng.com/Neuralyst/nnbg.htm (http://www.cheshireeng.com/Neuralyst/nnbg.htm)
μήπως είναι combo?

Οκ
Έστω ότι έχεις ένα νευρωνικό δίκτυο K-L-N όπου Κ οι είσοδοι, Ν οι έξοδοι και L οι νευρώνες του κρυφού στρώματος. Μπορείς να πεις 2 ισοδύναμα πράματα:

• Σε κάθε νευρώνα έχεις από ένα κατώφλι h, που απλώς εκφράζει ότι η συνάρτηση ενεργοποίησης f είναι μετατοπισμένη κατά h, δηλαδή f(x+h). Άρα έχεις K*L+L*N βάρη και L+N κατώφλια, άρα συνολικά (K+1)*L+(L+1)*N παράμετροι
• Στο στρώμα εισόδου και στο κρυφό στρώμα έχεις από μία dummy είσοδο που ισούται με μονάδα και λέγεται πόλωση. Η πόλωση συνδέεται στα επόμενα στρώματα με το βάρος της πόλωσης, αλλά δεν προκύπτει από τα προηγούμενα στρώματα. Έτσι τα βάρη είναι (K+1)*L για το 1ο στρώμα και (L+1)*N για το δεύτερο που δίνει ακριβώς το ίδιο αποτέλεσμα.

Ουσιαστικά κατώφλι και βάρος της πόλωσης είναι το ίδιο πράγμα (ή τουλάχιστον έτσι το βλέπω εγώ  :P).

Μπαααα.... Άλλο πόλωση και άλλο κατώφλι. (έτσι λέω γω τουλάχιστον)

Κατώφλι έχει να κάνει με τη συνθήκη ενεργοποίησης οπότε υπαρχει σε κάθε νευρώνα όπως σωστά είπες.
Πολώσεις μπορεί να υπάρχουν αλλά μπορεί και να μην υπάρχουν σε κάποιο νευρωνικό δίκτυο.

Και για να μιλάμε με νούμερα, θέμα 4 18/2/2011:

έχουμε 4*25 + 25*20 + 20*2 = 640 βάρη
και 25+20+2 = 47 κατώφλια
σύνολο 687 παραμέτρους

Άν όμως μας έλεγε ότι έχουμε ΤΝΔ με πολώσεις τότε θα είχαμε
(4+1)*25 + (25+1)*20 + (20+1)*2 = 687 βάρη
και 47 κατώφλια άρα
σύνολο 734 παραμέτρους.

Αν διαφωνεί κανείς ας πει..

Πες τα!!!! Και κόντευα να χασω τη μπάλα... :P

κ εγω συμφωνω... αλλα κολλαω στο αλλο.. αν μου ζητησει να πω αν ενα δειγμα ν=100 μπορει να χρησιμοποιηθει  γιαυτο το δικτυο, θα το δικαιολογισω με τα βαρη? οτι απλα εχει πολλα βαρη αρα -> υπερεκπαιδευση αργη αποκριση συστηματος κτλ? η θα πω οτι 100/10 = 10 αρα περιμενω να χω περιπου 10 βαρη και τελικα εχω 640 βαρη αρα υπερεκπαιδευση κτλ.. ?

Παιδιά εγώ νομίζω ότι είναι το ίδιο πράμα.. Αν έχεις πόλωση θα πάρεις y=f (Σxi*wi +1*w0) ενώ αν έχεις κατώφλι θα πάρεις f(Σxi *wi+θ). Αν έχεις και πόλωση και κατώφλι θα πάρεις f (Σ xi*wi+w0+θ). Ποιο το νόημα να έχεις και w0 και θ?

Τώρα δεν ξέρω.. μην σας πάρω και στο λαιμό μου. Εγώ αυτό έχω καταλάβει  :-\

Όταν λέει '' ένα ΤΝΔ 3-6-7 με πολώσεις πόσες ανεξάρτ. μεταβλητές έχει?",  τι εννοεί ?
Τις εισόδους     ή       τα βάρη μαζί με τα κατώφλια?

Αφήστε το τώρα, του χρόνου το ξανακοιτάμε ,καλή επιτυχία σε όλους  ^clap^

http://www.faqs.org/faqs/ai-faq/neural-nets/part2/section-9.html

to idio prama einai