[Ευφυή Συστήματα Ρομπότ] - Παλιά θέματα - Σχολιασμός και απορίες

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[saddodancererer]

μηπως βρηκε κανεις γιατι πρεπει να μειωνουμε το βημα εκπαιδευσης οταν παρατηρηθει ταλαντωση?

[Tempus Fugit]

network paralysis
"As the network trains, the weights can become adjusted to very large values. This can force all or most of the neurons to operate at large values of OUT, in a region where the derivative; of thesquashing function is very small, since the error sent back for training is proportional to thisderivative, the training process can come to virtual standstill. There is little theoreticalunderstanding of this problem. It is commonly avoided by reducing the step size η, but this extends training time. Various heuristics have been employed to prevent paralysis, or to recover from its effects, but these can only be described as experimental."

[Tempus Fugit]

μηπως βρηκε κανεις γιατι πρεπει να μειωνουμε το βημα εκπαιδευσης οταν παρατηρηθει ταλαντωση?

http://neurondotnet.freehostia.com/manual/learningrate.html
Γενικά ωραίο reference φαινεται.


Αυτό που κατάλαβα εγώ είναι ότι με μεγάλο learning rate ουσιαστικά μαθαίνει πολύ γρήγορα και τείνει να ξεχάσει ό,τι έμαθε
ως τώρα επομένως οι αλλαγές στην είσοδο του προκαλούν σημαντικές αλλαγές στο σφάλμα κάθε φορά. Ε σε κάποια φάση
μάλλον θα λαγκάρει και θα ταλαντώνεται :Ρ

[Ariel]

μηπως βρηκε κανεις γιατι πρεπει να μειωνουμε το βημα εκπαιδευσης οταν παρατηρηθει ταλαντωση?

Αυτό που έχω καταλάβει εγώ είναι οτι στην ταλάντωση, έχω μια συνάρτηση με πολλά τοπικά ελάχιστα και αρκετά μεγάλο βήμα εκπαίδευσης ώστε να πηγαίνει απο το ένα τοπικό ελάχιστο στο άλλο παραλείποντας κάποιες σημαντικές ενδιάμεσες τιμες.Αν μειώσω το βήμα εκπαίδευσης τότε θα ληφθούν υπόψη και τα όποια  τοπικά μέγιστα είχαν προηγούμενως παραλειφθεί και έτσι σταδιακά το σφάλμα θα ομαλοποιηθεί και θα συγκλίνει σε μια νορμάλ τιμή

[alexx_m87]

Οταν εχουμε ενα ΤΝΔ με πολωση ξερει κανεισ πως βρισκουμε τα κατωφλια?

[Cthulu]

Νομίζω ότι το πρόβλημα με το μεγάλο βήμα εκπαίδευσης και τις ταλαντώσεις φαίνεται πολύ καθαρά στο http://www.willamette.edu/~gorr/classes/cs449/linear2.html στην ενοτητα The Learning Rate. Αν έχουμε πολύ μεγάλο βήμα εκπαίδευσης, σε μια απότομη κοιλάδα επειδή η μεταβολή του βάρους είναι ανάλογη της κλίσης μπορεί να απομακρυνόμαστε από το ελάχιστο αντί να το πλησιάζουμε! 

[Cthulu]

Οταν εχουμε ενα ΤΝΔ με πολωση ξερει κανεισ πως βρισκουμε τα κατωφλια?

Τι εννοείς? Τον αριθμό τους ή τις τιμές τους?
you need to be more specific 

[~GiA~]

ο ρυθμός μάθησης d καθορίζει το πόσο γρήγορα συγκλίνει η μάθηση

μεγάλος ρυθμός μάθησης μπορεί να οδηγήσει σε μεγαλύτερη σύγκλιση, αλλά και σε ταλάντωση γύρω από βέλτιστες τιμές βαρών
αν έχω μεγάλη κλίση χρειάζομαι μικρή τιμή του η, αν έχω ταλάντωση μικραίνω το η μπορούμε να το δείξουμε από σχήμα με μεγάλη κλίση

το momentum το χρησιμοποιούμε για απεγκλωβισμό από κάποια ενδεχόμενη ταλάντωση

τώρα μικρός ρυθμός μάθησης έχουν σαν αποτέλεσμα πιο αργή σύγκλιση ενώ μπορεί να οδηγήσει σε παγίδευση σε τοπικά ακρότατα !!

[~GiA~]

πόλωση καταλαβαίνω ότι εννοεί το bias το οποίο όταν θες να πεις πόσες ανεξάρτητες μεταβλητές έχεις δεν χρειάζεται να τις αναφέρεις
άρα είναι μόνο ο αριθμός εισόδων που σου λέει
αυτο καταλαβαίνω τουλάχιστον

[saddodancererer]

ποπο παιδια ο καθενας εγραψε κ κατι διαφορετικο... αν και νομιζω απ αυτα που βρηκα κ εγω οτι θα συμφωνησω με τον φιλο Cthulu

[~GiA~]

βασικα τα ιδια λέμε με αλλα λόγια

[jimmakos]

Η βασική εξίσωση του back propagation με Momentum είναι:

• ΔW=h (1+M) E / dW
• ΔW=h (1-M) E / dW
• τίποτα από τα παραπάνω

?

ακούω γνώμες

[saddodancererer]

χμμ βασικα αριελ σε ενα ποστ σου πανω στο θεμα του 2010 6ο θεμα, ειχες πει οτι το 3ο ειναι πιο καταλληλο γιατι διαιρωντας τον αριθμο δειγματων "1000" με τον αριθμο παραμετρων βρισκουμε τιμη κοντα στο 10 που ειναι και ο τυπος που χρησιμοποιουμε προσεγγιστικα.. αυτος ο τυπος ομως δεν ειναι για τα βαρη? πχ για 1000 δειγματα /10 = 100 βαρη? εσυ γιατι το διαιρεις με τον αριθμο παραμετρων? δεν το επιασα αυτο

[Ex_Mechanus]

Η βασική εξίσωση του back propagation με Momentum είναι:

• ΔW=h (1+M) E / dW
• ΔW=h (1-M) E / dW
• τίποτα από τα παραπάνω

?

ακούω γνώμες

τίποτα από τα παραπάνω, γιατί πέρα από τον όρο της παραγώγου του σφάλματος, χρειάζεσαι και έναν weighted όρο με το ΔW τις προηγούμενης επανάληψης

τον τύπο θα τον έγραφα έτσι εγώ: ΔW(t+1)=η*ΔE/dW + α*ΔW(t)

[Emfanever]

Η βασική εξίσωση του back propagation με Momentum είναι:

• ΔW=h (1+M) E / dW
• ΔW=h (1-M) E / dW
• τίποτα από τα παραπάνω

?

ακούω γνώμες

τίποτα από τα παραπάνω, γιατί πέρα από τον όρο της παραγώγου του σφάλματος, χρειάζεσαι και έναν weighted όρο με το ΔW τις προηγούμενης επανάληψης

τον τύπο θα τον έγραφα έτσι εγώ: ΔW(t+1)=η*ΔE/dW + α*ΔW(t)

Εδώ λέει κάποια πράγματα για momentum
http://neurondotnet.freehostia.com/manual/parameters.html#momentum
και συμφωνεί νομίζω με τον τύπο του Ex_Mechanus