[Θεωρία Πληροφοριών] Παλιά θέματα - Σχολιασμός και απορίες

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Πρόγραμμα Επαναληπτικής Εξεταστικής 2024-2025]

Πρόγραμμα Επαναληπτικής Εξεταστικής 2024-2025

[Ragnar]

α) I(X;Y)=1
β) I(X;Y)=3/2

Ευχαριστώ!

Επίσης.... Έχει κανείς ιδέα απο θέμα 2 φεβ20?

[The_Traitor]

Από τον ορισμό της δεσμευμένης αμοιβαίας πληροφορίας. Μπορείς να δεις σελ. 26 στο βιβλίο. Αν κρύψεις το |Χ2 βλέπεις ότι είναι η αμοιβαία πληροφορία I(X1;X3)

Ευχαριστώ

Επίσης.... Έχει κανείς ιδέα απο θέμα 2 φεβ20?

Ανέβασα μια προσπάθεια χθες, είναι ίδιο με τις ασκήσεις 8.9 και 9.11 του βιβλίου. Κάπου είχα βρει τις λύσεις

[Ragnar]

Ευχαριστώ

Ανέβασα μια προσπάθεια χθες, είναι ίδιο με τις ασκήσεις 8.9 και 9.11 του βιβλίου. Κάπου είχα βρει τις λύσεις

Ωραίος ευχαριστώ!!

[mfilip]

Στο δεύτερο pdf θεωρίας, σελίδα 21/33, στο άνω όριο της εντροπίας, λέει H(x)<=log|X| με ισότητα όταν p(x)=1/|X|. Μπορεί κάποιος να το εξηγήσει? Τι είναι το |Χ|?

[lhmma_Jordan]

Στο δεύτερο pdf θεωρίας, σελίδα 21/33, στο άνω όριο της εντροπίας, λέει H(x)<=log|X| με ισότητα όταν p(x)=1/|X|. Μπορεί κάποιος να το εξηγήσει? Τι είναι το |Χ|?

Το πλήθος των τιμών που μπορεί να πάρει το X. Πχ αν ήταν Χ=1 ή 2 ή 5, θα ήταν 3. Η ισότητα ισχύει για ομοιόμορφη κατανομή.

[mfilip]

Σε ευχαριστω για την απαντηση. Θα μπορουσες μηπως να με βοηθησεις λιγο και με την ασκηση 1. στο pdf Set5_Solutions? Στο πρωτο ερωτημα δεν καταλαβαινω τις τελευταιες γραμμες ουσιαστικα, εκει που υπολογιζει την p(ψ) και στη συνεχεια συμπεραινει οτι το οριο υπαρχει. Καθως επισης και στο 2ο ερωτημα πώς προκυπτει το h(1/3) (καταλαβαινω ποιες τιμες παιρνει το (X+Z)modN και με ποιες πιθανοττητες, τι ειναι το h(1/3) ομως?)

[lhmma_Jordan]

Σε ευχαριστω για την απαντηση. Θα μπορουσες μηπως να με βοηθησεις λιγο και με την ασκηση 1. στο pdf Set5_Solutions? Στο πρωτο ερωτημα δεν καταλαβαινω τις τελευταιες γραμμες ουσιαστικα, εκει που υπολογιζει την p(ψ) και στη συνεχεια συμπεραινει οτι το οριο υπαρχει. Καθως επισης και στο 2ο ερωτημα πώς προκυπτει το h(1/3) (καταλαβαινω ποιες τιμες παιρνει το (X+Z)modN και με ποιες πιθανοττητες, τι ειναι το h(1/3) ομως?)

Θα τις δω αργότερα σήμερα, οπότε δυστυχώς δεν μπορώ να πω κάτι ακόμα.

[mfilip]

οκ μη με ξεχασεις μονο  Αν εχει κανεις αλλος αποψη, ευπροσδεκτη

[mfilip]

Επισης γνωριζει κανεις τι θα πει ταυτονομη τυχαια μεταβλητη?

[lhmma_Jordan]

Επισης γνωριζει κανεις τι θα πει ταυτονομη τυχαια μεταβλητη?

Χωρίς να είμαι 100% σίγουρος, με ίδια συνάρτηση μάζας πιθανότητας.

Δηλαδή αν X1,...,Xn ταυτόνομες.

[mfilip]

Χωρίς να είμαι 100% σίγουρος, με ίδια συνάρτηση μάζας πιθανότητας.

Δηλαδή αν X1,...,Xn ταυτόνομες.

κι αυτο πρακτικα τι σημαινει?

[lhmma_Jordan]

κι αυτο πρακτικα τι σημαινει?

Ίδιες πιθανότητες, όλες έχουν δηλαδή για παράδειγμα p1=1/4,p2=1/4,p3=1/2.

[lhmma_Jordan]

Σε ευχαριστω για την απαντηση. Θα μπορουσες μηπως να με βοηθησεις λιγο και με την ασκηση 1. στο pdf Set5_Solutions? Στο πρωτο ερωτημα δεν καταλαβαινω τις τελευταιες γραμμες ουσιαστικα, εκει που υπολογιζει την p(ψ) και στη συνεχεια συμπεραινει οτι το οριο υπαρχει. Καθως επισης και στο 2ο ερωτημα πώς προκυπτει το h(1/3) (καταλαβαινω ποιες τιμες παιρνει το (X+Z)modN και με ποιες πιθανοττητες, τι ειναι το h(1/3) ομως?)

Στο πρώτο ερώτημα αν κατάλαβα καλά τι ρωτάς, πάντα για μια τυχαία μεταβλητή με |X| η εντροπία είναι μέγιστη για ομοιόμορφη κατανομή, όπου προφανώς p = 1/|X|. Για να επιτυγχάνεται η χωρητικότητα στο παράδειγμα, πρέπει H(Y) = max που συμβαίνει για ομοιόμορφη κατανομή του Y. Παίρνει λοιπόν ομοιόμορφη κατανομή στο x, υπολογίζει την κατανομή του Y και δείχνει πως είναι ομοιόμορφη, άρα η εντροπία μέγιστη, άρα βρήκαμε την px(x) για την οποία αυτό συμβαίνει.

Το h(1/3) είναι η εντροπία για μια τυχαία μεταβλητή που παίρνει 2 τιμές με p=1/3 και p = 2/3.

[mfilip]

οκ καταλαβα. Αρα το h(1/3) εν προκειμενω δεν εχει σχεση με τη διαφορικη εντροπια? Ειναι απλως ενας διαφορετικος τροπος να γραψουμε το H(1/3, 2/3)?

[lhmma_Jordan]

οκ καταλαβα. Αρα το h(1/3) εν προκειμενω δεν εχει σχεση με τη διαφορικη εντροπια? Ειναι απλως ενας διαφορετικος τροπος να γραψουμε το H(1/3, 2/3)?

Ακριβώς.