THMMY.gr

Εκφώνηση 2ης εργασίας

4 Δεκ 2014 4:42 μμ
Συμεωνίδης

Στην Ενότητα "Υλικό Μαθήματος" -> "Εργασίες Μαθήματος -> Ομαδοποίηση - Δεύτερη εργασία" θα βρείτε την εκφώνηση της 2ης εργασίας του μαθήματος.
Υπενθυμίζω ότι άμεσα πρέπει να δηλωθείτε στην εργασία ("Υποβολή Εργασιών->Ομαδόποιηση").

Παράταση υποβολής της παράδοσης της 2ης εργασίας....

13 Δεκ 2014 10:25 μμ
Συμεωνίδης

Μετά από απαίτηση πολλών συναδέλφων σας, η παράδοση της 2ης εργασίας παρατείνεται μέχρι την Τετάρτη, 07/01.
Το χρονοδιάγραμμα έχει προσαρμοστεί ανάλογα.
Παρακαλώ να ενημερώσετε τους/τις συναδέλφους σας.

Μια απορία....

Στην εκφώνηση μας ζητείται να κάνουμε ομαδοποίηση των εγκαταστάσεων με βάση τα
χαρακτηριστικά τους, όμως στο url που βρίσκεται το dataset, στην
περιγραφή αναφέρεται ότι οι μετρήσεις αφορούν μόνο 1 εγκατάσταση για 4
χρόνια. Άρα πώς θα γίνει ομαδοποίηση;Κάτι μου διαφεύγει;

Θέλεις να κάνεις ομαδοποίηση ως προς τις εποχές και ως προς διαφορετικά χρονικά διαστήματα της κάθε εποχής, πχ. ανά 8ωρο της κάθε μέρας, ανά μέρα,ανά βδομάδα κοκ. Με αυτό τον τρόπο καλείσαι να βρεις διαφορετικές καταναλωτικές συμπεριφορές ανάλογα με την εποχή και τη χρονική ζώνη της ημέρας που επιλέγεις κάθε φορά. πχ. το χειμώνα ο αριθμός των παρατηρήσεων του  κλάστερ που περιλαμβάνει υψηλές τιμές ενεργού ισχύος για κάθε 8ωρο μπορεί να είναι μεγαλύτερος σε σχέση με τις αντίστοιχες παρατηρήσεις της μέγιστης ισχύος το καλοκαίρι, ή πχ. το submetering3 που περιλαμβάνει air-conditioner να έχει μηδενικές τιμές κατανάλωσης τους χειμερινούς μήνες

Υπάρχει κανένας που να έχει ασχοληθεί με dbscan στην R η οπουδήποτε αλλού και να έχει βγάλει κανα νόημα?Σε μένα συμπεριφέρεται απαράδεκτα και δεν μπορώ να καταλάβω γιατί

Τι εννοεις οτι συμπεριφερεται απαραδεκτα?

Μου βγάζει πρόβλημα στο Weka ότι το dataset είναι πολύ μεγάλο και δεν μου το ανοίγει. Δεν έχει κανείς άλλος αυτό το πρόβλημα?

κι εγω το ειχα. ανοιξε το με matlab, μέσω του csvread που προτεινει ο συμεωνιδης

παιδιά ψήνεται κανείς άλλος να παραδώσουμε το σαββατοκύριακο για να προλάβουμε να γυρίσουμε στη θεσσαλονίκη και μεις που είμαστε από αλλού :)

Η επικοινωνία από το σκάιπ είναι λίγο δύσκολη  δυστυχώς :-\

ή μπορείς να κάνεις την προεπεξεργασια στο μάτλαμπ,μετά να το ξαναγράψεις με csvwrite,και μετά να το ανοίξεις στο weka, αν θες να τρέξεις στο weka τους αλγορίθμους

η αλήθεια είναι ότι θα βόλευε πολύ, γιατί είναι που είναι δύσκολη η εργασία και η απομακρυσμένη συνεργασία δε βοηθάει και πολύ...να του στείλουμε κανένα μέηλ. Φαντάζομαι δεν θα υπάρχει θέμα, στο βαθμό που δεν μας περιορίζει κάποια παρουσίαση όπως στις Βάσεις...

+1 για παράταση,αρχίζουμε το σπαμ στο συμεωνίδη λοιπόν?

+1 παράταση FTW

Τελικά μπορούμε να χρησιμοποιήσουμε weka? Γιατί στο μάθημα είχε πει matlab ή R.

O,τι θες εννοείται.


Καμιά απάντηση?

Andreas Symeonidis
Προς   εμένα Σήμερα στις 9:29 π.μ.
Καλημέρα.
Θα σας δώσω μέχρι την Παρασκευή.

Ας πούμε πως το dataset έχει χωριστεί σε ζώνες που η κάθε μία από αυτές έχει avg , max , min κτλ κτλ.  Από εκεί κ πέρα τι κάνουμε? Πώς ομαδοποιείς με βάση το average της κατανάλωσης πχ?

Νέα παράταση υποβολής της 2ης εργασίας...
4 Ιαν 2015 3:13 μμ
Συμεωνίδης

Μετά από απαίτηση πολλών συναδέλφων σας, η παράδοση της 2ης εργασίας παρατείνεται εκ νέου μέχρι το Σάββατο, 10/01.
Η επιθεώρηση του παραδοτεου πρέπει να γίνει μέχρι τη Δευτέρα 12/1. Η εξέταση και των 2 εργασιών θα ξεκινήσει την Τρίτη 13/1, σύμφωνα με το πρόγραμμα που θα αναρτηθεί. Παρακαλώ να ενημερώσετε τους/τις συναδέλφους σας.

εστω οτι το έχεις χωρισει πχ σε 3 χρονικες ζωνες ανα ημερα. και σε 2 εποχες ανα χρονο. αρα 3*2*4 ετη=24 παρατηρησεις. καθε παρατηρηση εχει πχ μέση τιμη για active,reactive,sub1,sub2,sub3 και αντιστοιχα max και min. αρα οταν ομαδοποιεις για μεση τιμη παιρνεις τις μεσες τιμες, οταν για max τα μεγιστα κτλ κτλ

προσπαθώ να μείωσω το μέγεθος του πίνακα και να το βάλω να υπολογίσει και να αντικαταστήσει τις τιμές με τον μέσο όρο κάθε ώρας στην R. Έχω δοκιμάσει σχεδόν ότι κυκλοφορεί στο ίντερνετ αλλά συνέχεια μου βγάζει errors. Μήπως μπορεί κάποιος να βοηθήσει?

τι είδους errors?

Γενικά με την aggregate(data, by, function) το κάνεις αυτό, όπου
data       : είναι  το data frame που θες να κάνεις aggregate ή συγκεκριμένες στήλες αυτού
by          : μπορεις να το συντάξεις ως εξής: by = list('column1', 'column2' ...) , το οποίο είναι το γνώρισμα με βάση το οποίο θα κάνει aggregate.
function : παίρνει τιμές min, max, mean είναι η συνάρτηση με την οποία θα κάνει aggregate

Δηλαδή αν θές να βρεις τους μέσους όρους των Global_active_power, Global_reactive_power ανά μήνα, έστω ότι το data frame σου λέγεται my.data.frame και εστω οτι εχεις φτιαξει μια στηλη με τους μηνες, την Months, που αντιστοιχει η καθε μετρηση , θα πρεπει α κανεις:

my.data.frame <- aggregate(my.data.frame[c('Global_active_power', 'Global_reactive_power')],
                                              by = list(my.data.frame$Months),
                                              mean)

"Ομαδοποίηση μπορείτε να κάνετε με βάση οποιαδήποτε μετρική ορίσετε."
Μπορεί να πει κάποιος με σιγουριά τι θέλει να πει ο ποιητής εδώ, γιατί δεν είμαι σίγουρος ότι καταλαβαίνω σωστά?

Ως προς τις μεσες τιμες των παρατηρησεων, ως προς τις ελαχιστες τιμες, ως προς τις μεγιστες κτλπ. Μετρικες απ οσο καταλαβαινω εγώ ειναι τα max,min,avg,sum κτλ

παιδιά καταλαβαίνει κανεις τι παραμέτρους έχει νόημα να παραστήσουμε οπτικά για να δούμε αν το clustering είναι καλό? ::)

πχ.αριθμός ομάδων στον οριζόντιο άξονα και τιμή cohesion,seperation κλπ. για κάθε ομάδα στον κατακόρυφο
δεν ξέρω τι άλλο μπορεί να εννοεί

Δηλαδη φτιαχνω ενα πινακα με ολες τις παρατηρησεις οπου θα έχω σαν γραμμες τις χρονικες ζωνες και στηλες avg max min για active, reactive, sub1 κτλπ; πχ με το παραδειγμα που λες 3*2*4=24 γραμμες και 5*3=15 στηλες; Και μετα που φτιαχνω αυτον τον συνολικο πινακα τον βαζω στο weka και κανω clustering με τους αλγοριθμους; Η πρεπει να φτιαξω ξεχωριστους πινακες για το avg, max, min και να τους βαλω στο weka ξεχωριστα; Για τα cohesion, sihlouette κτλ αναλογα με το μοντελο που μου βγαζει το weka για καθε αλγοριθμο βγαινουν και μεσω excel η matlab. Εγω ρωταω πως πρεπει να ειναι ακριβως ο πινακας οπου θα γινει βασει αυτου το clustering γιατι τα εχω λιγο μπερδεμενα.

Ξεχωριστα για avg, ξεχωριστα για min, ξεχωριστα για max. Τωρα το αμα θα παρεις το dataset ολο ή θα το κοψεις εσυ αποφασιζεις(εννοω μηπως παρεις sub1 μαζι με active, ολα τα sub μαζι, κτλ κτλ).

Καταλαβα. Και πως καταλαβαινω στο weka αν ειναι καλα clustered τα δεδομενα μου; Ποιο ειναι το κριτηριο ας πουμε;

Τα κριτήρια είναι αυτά που αναφέρει ο Συμεωνίδης στο 5ο βήμα στο pdf του. Cohersion,separation κτλ κτλ, στο WEKA δεν ξέρω αν υπάρχουν αυτούσια, για matlab πάντως είπε πως μπορείς να χρησιμοποιήσεις αλγορίθμους 3ων για να τα βγάλεις.

Κριτήρια αξιολόγησης 2ης Εργασίας

8 Ιαν 2015 1:40 μμ
Συμεωνίδης

Μπορείτε να βρείτε το κείμενο αξιολόγησης εδώ (http://alexander.ee.auth.gr:8083/eTHMMY/archive/120/customStore/PR-EvaluationSheet-Project2.docx).
Υπενθυμίζω ότι η επιθεώρηση του παραδοτέου πρέπει να παραδοθεί μέχρι την Δευτέρα, 12/1.

υπάρχει κάποιος που πρόλαβε να το κατεβάσει στο πισί του προτού πέσει το ετημμυ και προτίθεται να το ανεβάσει κ εδώ?

Καλημέρα

Μπορεί κάποιος να λύσει την εξής απορία?

Στις ομαδοποιήσεις που κάνουμε, είναι σωστό να λάβουμε υπόψιν το χρόνο? Κάνοντάς το, το πρόβλημα είναι ότι η ομαδοποίηση βασίζεται κατά κύριο λόγο στο χρόνο. Συνεπώς υπάρχει η ανησυχία ότι έτσι είναι σα να "κλέβουμε" στο clustering, διότι οι ομάδες προκύπτουν αρκετά διακριτές βάση του χρόνου.
Π.χ. σε ένα διάγραμμα κατανάλωσης-χρόνου με K-means στο Matlab, οι ομάδες διαχωρίζονται σχεδόν κάθετα.

Ευχαριστώ για κάθε input!

Διαχωρίζονται σχεδόν κάθετα, αλλά η ομαδοποίηση πέτυχε εάν και τα οριζόντια επίπεδα είναι διακριτά.

Αν πχ έχεις ένα διάγραμμα με τον οριζόντιο άξονα να απεικονίζει τον χρόνο και τον κατακόρυφο να απεικονίζει πχ την active power:
     |   x x
     | x  x    x
     |   x xx
     | x         ο     ο
     |            o o o o oo
     |            o  o   o o o
     |_ _ _ _ _ _ _ _ _ _ _ <---- Καλή ομαδοποίηση


     |   x x
     | x  x        ο o
     |   x xx    ο   ο
     | x             ο
     |            o o o o
     |             o   o o o
     |_ _ _ _ _ _ _ _ _ _ _ <---- Κακή ομαδοποίηση.

Όπως βλέπεις και στο πρώτο και στο δεύτερο διάγραμμα οι ομάδες χωρίζονται κάθετα.
Στο πρώτο η ομαδοποίηση είναι καλή γιατί σου λέει "Εκείνες τις ώρες υψηλή κατανάλωση, τις άλλες ώρες χαμηλή κατανάλωση".
Στο δεύτερο διάγραμμα όμως η ομαδοποίηση δεν είναι λογική. Έχεις δυο ομάδες βάσει του χρόνου αλλά δεν μπορείς να δώσεις φυσική ερμηνεία.

Thnx για την απάντηση. Αυτό που καταλαβαίνω είναι οτί εσύ παίρνεις υπόψη το χρόνο και συνυπολογίζεται στον αλγόριθμο ομαδοποιησης. Confirmed?

Γενικά σύμφωνοι, όμως τα συγκεκριμένα δεδομένα δεν έχουν τέτοια κατανομή:
     |   ο ο
     | ο  ο    ο
     |   ο οο
     | ο            ο     ο
     |             o o o o oo
     |           o  o   o o o
     |_ _ _ _ _ _ _ _ _ _ _

αλλά περισσότερο τέτοια:
     |   ο ο
     | ο  ο        ο o
     |   ο ο    ο   ο
     | ο    ο         ο
     |   ο  ο       o o o o
     |     ο       o   o o o
     |_ _ _ _ _ _ _ _ _ _ _

Το αρχικό dataset όντως έχει τέτοια κατανομή.
Σε μια συζήτηση που είχαμε με τον Συμεόν, ανέφερε πως μπορούμε να κάνουμε οποιαδήποτε επεξεργασία στα δεδομένα μπορούμε να δικαιολογήσουμε λογικά. Οπότε κάνεις όοοο,τι γουστάρεις στο αρχικό dataset.
Αν το επεξεργαστείς κατάλληλα ( αν πχ βγάλεις μέσους όρους, maxes, mins κλπ ) μπορείς να το φέρεις σε ό,τι μορφή γουστάρεις.
Για του λόγου το αληθές αν πάρεις πχ τη μέση κατανάλωση κατά τη διάρκεια της μέρας, τις "κρύες" μέρες βγαίνει κάτι τέτοιο:
( μέση active power)
     |                                               o
     |                                          o
     |                                       o       o
     |                  o                  o
     |              o       o            o
     |             o          o        o
     |                            o    ο
     |          o                   ο
     |  o  o
     |_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ ( ώρες της μέρας )

Μια καλή ομαδοποίηση θα μποούσε να είναι :

     |                                               Δ
     |                                          Δ (Δ)
     |                                        Δ       Δ
     |                 x        (x)       x
     |              x       x            x
     |             x          x         
     |                            o    ο
     |          o                   ο
     |  o  o            (ο)
     |_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ ( ώρες της μέρας )

Σε παρένθεση τα κέντρα των clusters. Και κάθετη και οριζόντια "τέλεια" κατάτμηση.