THMMY.gr

Βγήκε η πρώτη εργασία

Για πότε είναι η πρώτη εργασία?

Επίσης τελικά το μάθημα μπήκε και στο 9ο?

Για την ημερομηνία: Υποθέτω είναι μεχρι Σεπτ. και για αυτό δεν εχει ημερομηνία. Αν την κανεις τώρα (και τις υπόλοιπες) τότε θα παρεις βαθμό σε αυτό το εξάμηνο. Πιστευω για αυτό δεν έχει ημερομηνία.

ποτε δεν ισχυε αυτο που λες ρε  μπαρμπα, γιατι να ισχυσει τωρα;

Ποιό από όλα? Έχει πει στο μαθημα ότι μπορείς να παραδώσεις τις εργασίες μεχρι Σεπτ.

Τον πίνακα με τις συντεταγμένες, θα τον φτιάχνει το πρόγραμμα κάθε φορά με τυχαία σημεία που θα ανήκουν στο σύνολο που αναφέρει;

Γενικά μου φαίνεται ότι έχει κενά η λογική της εργασίας, εκτός αν καταλαβαίνω λάθος.
πχ.
1)Αρχικά θα βρούμε ακμή κύβου έτσι ώστε να περιέχονται όλα τα σημεία; Ο επόμενος κύβος πως θα προκύπτει;
2)Τα σημεία αυτά βρίσκονται πάνω στην επιφάνεια της σφαίρας ή και μέσα στη σφαίρα;
3)"Το πρώτο όγδοο της επιφάνειας μοναδιαίας σφαίρας", τι νόημα βγάζετε από αυτό;

αντε καλα. κανω πισω και το δεχομαι.
αυτο που λες ισχυε σιγουρα για την 3η και την 4η,
τωρα αν ισχυει [ και παλιοτερα και φετος] και για την 1η και τη 2η......... για να το λες εσυ κατι παραπανω θα ξερεις

Δεν το ξέρω! Απλά υποθέτω οτι θα ισχύει κατι τέτοιο (όπως έγραψα), επειδή δεν έχει ημερομηνία. Μην μπερδευτεί κανενας.

Τον πίνακα τον φτιάχνουμε εμείς ναι.
1) Αρχικά, αν θυμάμαι καλά, ο Πιτσιάνης είπε στην τάξη να θεωρήσουμε ως κύβο τον μοναδιαίο (με κέντρο το 0.5,0.5,0.5).
2) Τα σημεία ανήκουν στην επιφάνεια της σφαίρας μόνο.
3) Το πρώτο όγδοο το αναφέρει έτσι ώστε ουσιαστικά να πάρεις τα σημεία με x,y,z>=0 (που φυσικά ικανοποιούν την εξίσωση της μοναδιαίας σφαίρας).

Ευχαριστώ για την απάντηση. Ήμουν σίγουρος ότι έδωσε διευκρινίσεις στο μάθημα. Απλα εγώ δεν ήμουν παρών

Άλλαξα το 2 και το 3 στο προηγούμενο post. Για να μην πάρω στο λαιμό μου κανέναν, καλύτερα ρωτήστε και στο μάθημα.   :D

Αυτό που υπάρχει?

Στο ethmmy εκεί που υπάρχει η εργασία.

μπορει κάποιος να εξηγήσει τι παίζει με τον Β και τον Α? ο κάθε υποκύβος έχει δικό του Β που έχει μέσα τα σημεία του ή είναι ένας πίνακας ο Α και ένας ο Β, μοναδικοί στο πρόγραμμα??  ή τπτ απ τα 2 ?
και επίσης η start που είναι int πώς δείχνει 1η θέση σε 2διαστατο πίνακα?

Ο Α και ο Β είναι μοναδικοί πίνακες για το πρόγραμμα. Ο Α έχει ΟΛΑ τα σημεία του χώρου ( μπερδεμένα ) ενώ ο Β έχει και αυτός ΟΛΑ τα σημεία του χώρου, με τη διαφορά ότι τα έχει σε σειρά ανά φύλλο.

Πχ έχει πρώτα όλα τα στοιχεία του 1ου φύλλου, μετά του 2ου κοκ...

εδιτ : Πήγε κανένας να δει αν έγινε σήμερα μάθημα?

Έχει πει στο μάθημα πως να φτιάξουμε τον πίνακα συντεταγμένων; Έψαξα στο net για μεθόδους να βρίσκω σημεία πάνω στην επιφάνεια, αλλά απαιτούνται και άλλες βιβλιοθήκες με ομοιόμορφες κατανομές, τυχαίους αριθμούς κλπ. Υπάρχει κανένας περιορισμός στις βιβλιοθήκες που μπορώ να χρησιμοποιήσω; πχ Η boost library έχει κάτι σχετικές συναρτήσεις...

Κατα πασα πιθανότητα (δεν είμαι σίγουρος 100%) μπορείς να χρησιμοποιήσεις ό,τι θες, αρκεί να λύσεις το πρόβλημα. Επίσης σε σημεία που δεν εξηγεί τι θα γίνεται μπορείς να αποφασίσεις εσύ τι θα γίνει (όπως το πως θα φτιαξεις τα σημεία, κτλ). Αυτός δίνει όλα όσα πρέπει σίγουρα να ισχύουν. Από εκεί και πέρα μάλλον μπορείς να κανεις επιλογές και πιθανόν και παραδοχές. Δεν υπάρχει μια λυση, αρκει το αποτέλεσμα να είναι σωστό.

Ας πούμε, για την ερώτησή σου, τα σημεια θελεις απλά να είναι τυχαία, δεν σε ενδιαφερει η κατανομή τους, καντα όπως θες. Εξαλλου η ουσία είναι το πως θα λύνεις το πρόβλημα στην περίπτωση που σου δώσει οποιαδήποτε σημεία (ή κατανομή σημείων). Οποτε το πως θα δημιουργήσεις τα σημεία νομίζω δεν παίζει ρόλο (αν θες π.χ. μπορείς να τα κάνεις μεσω matlab, να τα αποθηκευεις σε αρχείο και να το διαβαζεις το αρχείο από το πρόγραμμα και να τα αποθηκευεις στον πίνακα Α - δεν έχει σημασία όμως).

Μια απορια, στην εκφωνηση λεει :

2. ''Εαν ο κύβος δεν περιέχει σημεία, επιστρέφει 0, την τιμή boxid που αντιστοιχεί σε άδειο κύβο.''

Το boxid ειναι μια μεταβλητη σαν flag για το αν περιεχει ή οχι σημεια ο κυβος ,
ή ενας αριθμος μοναδικος για καθε Βοx( σαν index στον πινακα με τα Boxes ας πουμε) ?

Προσωπικα πιστευω το 2ο απλα τοτε που επιστρεφει 0 συμφωνα με την εκφωνηση?

παιδια μια απορια για την εργασια
τα boxid ειναι συγκεκριμενα σε αριθμο και μπορουμε να τα ορισουμε απο την αρχη ή εμενα μ χει ξεφυγει κατι???

To boxid είναι ένας μοναδικός αριθμός που χαρακτηρίζει ένα κουτί που περιέχει σημεία όσα και να είνα αυτά.

Εάν ένα κουτί δεν περιέχει σημεία, παίρνει για boxid το μηδέν.

Άρα μπορούν να υπάρξουν περισσότερα του ενός κουτιά με boxid το μηδέν, αλλά κάθε άλλο boxid είναι μοναδικό.

Συνεπώς δεν μπορείς να ορίσεις εξ αρχής τα boxids μιας και δεν ξέρεις εξ αρχής πόσα κουτιά θα δημιουργηθούν, πόσα από αυτά θα είναι άδεια (και συνεπώς παίρνουν boxid το μηδέν) και πόσα από αυτά έχουν τουλάχιστον ένα σημείο (άρα παίρνουν κάποιο μοναδικό boxid το κάθε ένα).

Τα παραπάνω εξαρτώνται από την κατανομή των σημείων σου στην επιφάνεια της σφαίρας, που είναι τυχαία!

Δηλαδή φτιάχνουμε αρχικά τον Α που είναι τα τυχαία σημεία πάνω στην επιφάνεια και στη συνέχεια τα αντιγράφουμε στο Β  με κάποια σειρα;
Όταν λές 1ο,2ο φύλλο τι εννοείς;

Γενικά το flow του προγράμματος πως θα είναι:

Φτιάχνω ένα αρχικό box το οποίο θα υποδιαιρείται σε 8; Και μετά καθένα από αυτά σε 8 κλπ κλπ;

Ο πίνακας child του κάθε box θα παίρνει τιμές αφού υποδιαιρέσουμε σε 8 κύβους και ελέγξουμε αν περιέχει σημεία;

Έτσι ναι, νομίζω τουλάχιστον.

Έχω το εξής πρόβλημα, το οποίο μάλλον έχουν αρκετοί απ' ότι κατάλαβα μέσα στην τάξη. Λόγω της αναδρομικότητας της λύσης και του τεραστιου αριθμού σημείων (για λιγότερα μου δουλεύει) δεν μπορώ να ελέγξω τον αριθμό των threads που δημιουργούνται κ παίρνω error στη thread_create. Κ όσον αφορά αυτό το thread pool κ το workqueue βρήκε κανένας πως περίπου υλοποιούνται? Ή γενικώς κάποιον άλλο τρόπο να ελέγξουμε τον αριθμό των ενεργών threads?

Δεν μου δουλεύει κ το openmp κ υποψιάζομαι ότι φταίει το ίδιο.

Ta boxid αριθμουνται απο 0 το πρώτο κουτί ως τον συνολικό αριθμό των κουτιων που θα κατασκευαστούν?

η μεταβλητη parent τι ακριβως δηλωνει; πληθος γονεων; παντα 1 δεν ειναι αν δηλωνει αυτο;
οι πινακες box και leaf ειναι υποχρεωτικοι; και αν ναι μπορουν να ναι δυναμικοι ετσι;

η μεταβλητή parent θα περιέχει αν κατάλαβα καλά το boxid του κύβου από τον οποιο προήλθε
οι πίνακες ναι ειναι υποχρεωτικοι και οπωσδήποτε δυναμικοί απ την στιγμή που δεν ξέρουμε ούτε πόσα θα είναι τα φύλλα ούτε πόσοι θα είναι οι κύβοι..

Παίδες, δύο απορίες. Όποιος μπορεί ας δώσει τα φώτα του...

1.Η μεταβλητή start τι θα περιέχει; (και γιατί χρειάζεται μέσα στη structure Box;)

2."συντεταγμένες τυχαίων σημείων στο πρώτο όγδοο της επιφάνειας μοναδιαίας
σφαίρας με κέντρο την αρχή των αξόνων, δηλαδή σημεία (x, y, z) : x²+y² +z² = 1 & 0 ≤ x, y, z ≤ 1.";;  Πρώτο όγδοο; (εγώ έλαβα υπόψιν τις συναρτήσεις που μας έδωσε σαν περιορισμούς, μόνο.)

1. Θα ειναι το αρχικό index των σημείων που περιεχέι το φυλο αυτο στον πινάκα Β ο οποιος εχει όλα τα σημεία ταξινομημένα.


2. Όλα τα τυχαία σημεία σου πρέπει να ικανοποιούν και τις δυο αυτές εξισώσεις .

Got it!
^hat^

για να κανουμε compile και run  ενα κωδικα γραμμενο σε OpenMP  χρησιμοποιουμε τον Cygwin64 Terminal ετσι?
και αν ναι ποιες εντολες πρεπει να εισαγουμε?
παιζει να ακουστει λιγο χαζη η απορια μου αλλα εψαξα και δν βρηκα κατι που να μου δουλευει.

gcc -fopenmp

Ρε παιδιά να ρωτήσω κάτι.. Πώς επαληθεύουμε ότι η υλοποίηση που κάναμε είναι ικανοποιητική από άποψη χρόνου ?
Δηλαδή πώς γνωρίζουμε ότι τα 40 δευτερόλεπτα για Ν=100.000 είναι καλά ή χάλια, αντίστοιχα, εφόσον δε μπορούμε να τρέξουμε το πρόγραμμα σε πολυπύρηνο ?

1)Θα μπορούσε κάποιος να δώσει ενα παράδειγμα τι θα περιέχει ο πινακας Β;
2)Ο παρακάτω συλλογισμός είναι σωστός;
Για κάθε κύβο που σπάει σε 8 μικρότερους να δημιουργούνται 8 threads (ένα για κάθε child),από τα οποία κάποια θα σταματήσουν γιατί δε θα περιέχουν σημεία, ενώ άλλα θα συνεχίσουν να παράγουν και αυτά threads. Με αυτό τον τρόπο θα δημιουργηθούν πάρα πολλά threads.

1) Ο Α όπως λέει η εκφώνηση θα περιέχει τις συντεταγμένες σημείων που βρίσκονται στο πρώτο όγδοο της μοναδιαίας σφαίρας και οι οποίες θα παράγονται τυχαία. Ουσιαστικά είναι η είσοδος του προγράμματος.
2) Ο συλλογισμός σου είναι σωστός, μόνο που πρέπει με κάποιον έλεγχο να περιορίζεις τον αριθμό των running threads προφανώς.

Έκανα ένα λάθος στην ερώτηση (έκανα τωρα edit). Για τον πίνακα Β θέλω να μάθω

Έστω ότι αρχικά ο Β σου είναι ο Α (γιατί προφανώς στον μεγάλο κύβο θα ανήκουν όλα τα σημεία). Σπας τον αρχικό σε 8 υποκύβους. Ο Β τώρα θα σπάσει σε 8 blocks, καθένα από τα οποία θα περιέχει τα στοιχεία του κάθε υποκύβου. Δηλαδή, αν πχ ανήκουν στον πρώτο υποκύβο έχεις 5 σημεία, στο 2ο 6, στον 3ο 10 κοκ., στις 5 πρώτες θέσεις (με index 0-4) του Β θα 'χεις τις συντεταγμένες των 5 σημείων του 1ου υποκύβου, στις επόμενες 6 (index 5-10)  τις συντεταγμένες των 6 σημείων του 2ου υποκύβου κλπ. Δηλαδή δημιουργούνται blocks από σημεία που περιέχονται στους ίδιους υποκύβους. Αν τώρα ο πρώτος υποκύβος σπάσει σε άλλους 8 το 1ο block του Β που περιέχει τα σημεία του θα αναδιαταχθεί κατά τον ίδιο τρόπο, ενώ προφανώς θα μπορεί (το block αυτό) να περιέχει το πολύ 5 σημεία (αυτά του πατέρα-υποκύβου).

Πόση ώρα σας τρέχει στο περίπου  ? γιατι μου φαίνεται σαν κάτι να μη παει καλα...  :-\

με 32 threads μου κάνει
2²⁰ : ~800 seconds
2²¹ : ~4000 seconds

Έχει κανείς ιδέα ποιο μπορεί να είναι το πρόβλημα και το terminal και μου βγάζει αυτό το πράγμα μόλις τρέχω την άσκηση;
Στο compilation δεν εμφανίζεται κανένα error ή warning... :(

Δοκιμασε να δωσεις μικρο Ν.. και αν και παλι, για γραψε τον κωδικα που γραφει τη malloc
στο βγαζει προφανως οταν κανεις malloc για τον πινακα A η Β, η ξερω γω η σε καποια realloc..

Ρωτησε κανεις αν θελει μονο με malloc η αντ'αυτου μπορουμε να χρησιμοποιησουμε ξερω γω std::vector ??

7ο εξαμηνο και ακομη να παλευουμε με malloc, του πουστη δηλαδη.

Ειχα ρωτησει κατι αντίστοιχο και μου ειπε να κανω οτι θελω με αυτα, αρα ναι :)


Η malloc ειναι θρησκεια  ^ytold^

Μπορούσες να την κάνεις και σε c++

Ναι. Καμια παράταση θα πάρει;

Thanks για την απάντηση. Είχα γενικά λαθάκια στον κώδικα και απλά.. σκάλωνε στη malloc. Τον διόρθωσα τώρα και όλα οκ.

Είμαι ο μονος που όταν βάζω το cygwin στα windows δεν μ έχει φακελο στο home???ψαχνω στο Internet και έχω βρει εναν με την ιδια απορια.2 ειμαστε δλδ -,-


Τουλαχιστον μετα απο 2983901 χρονια καταφερα και τ βρηκα...οτι να ναι!

παιζει να ζητησουμε καμια παραταση;

+1

+1

+1

+2 απο δω...αντε ποιος γενναίος θα στείλει το mail?

+10

Στειλαμε ενα εμαιλ, αλλα θα ελεγα να στειλει κι αλλος κοσμος μπας και μας δωσει μια μικρη παρατασουλα!! ;)

Εστειλα και εγω.

λεπον. τρεχοντας το ξερω γω για N = 10.000, S=10
αν διατρεξω ολα τα leaf/φυλα και παρω σουμα απο το πληθος n των σημειων που περιεχει το καθενα βρισκω αποτελεσμα πχ 10.001.. γενικα οσα αυξανει το N ξεφευγει λιγο..
λογικα ειναι σημειο που πεφτει στη μεση απο κυβους..
so what now?
εχει γινει σε κανεναν, το εχει λυσει κανεις?

+1000 μπας κ βγάλουμε άκρη..

Αν λες στον ελεγχο >= απο το κατω οριο και < απο το ανω  δεν θα εχεις προβλημα για κανενα μεγαλο Ν.

εχουμε καμια απαντηση για πιθανη παραταση;

Παιδια σε σειριακο το ετρεξε κανεις να δει ποσο παιρνει περιπου?
για 2^20 πχ?

2²⁰ ~ 31 sec

Απάντηση στο μειλ για παράταση
"Νίκο,

βγάλε ανακοίνωση στο eTHMMY και ΤΗΜΜΥ.gr με παράταση 1 εβδομάδας.

+ 20% μπόνους σε όσους παραδόσουν έγκαιρα με την κανονική προθεσμία.

Την ερχόμενη Τετάρτη, θα βγάλουμε την MPI Εργασία 2, με παράδοση πριν τα Χριστούγεννα."

 ^carnaval^  ^ivres^

Σειριακο ή παραλληλο κανει τοσο χρονο ?

Ψάχνεις κάθε φορά όλο τον Α μέχρι να βρεις το πολύ  S+1 σημεία ή το κάνεις κάπως αλλιώς; Γιατί εγώ που το έκανα έτσι το σειριακό κάνει πάνω από 5 λεπτά για 2²⁰.

Και μένα..
Σημασία έχει που το κάνει.. :D

Εμενα ρε γαμωτο κανει περισσοτερο για 2^20.
       1
     /   \  
    2     3  
   / \     \  
  4   5     6  
 /           \
7             8

Για το "Ο πίνακας colleague περιέχει τα boxid των γειτόνων. Ως colleague ορίζονται κύβοι που είναι
στο ίδιο επίπεδο και απέχουν μηδενική απόσταση (έχουν κοινή, τουλάχιστον μια κορυφή του κύβου)."
Παραδειγμα σε αυτο το δυαδικο δενδρο οταν φτιαχνουμε το αντικειμενο για το 4 ο colleague για αυτο θα περιεχει μονο το σημειο 5?
Η καταλαβαινω κατι λαθος?

Θα περιέχει και το 6, αν ακουμπάνε μεταξύ τους τα 4 και 6.

γιατι το πολυ S+1?
καθε box εχει και ενα n, πρεπει να το βρεις αυτο...

Έχεις δικιο, άλλαξα την υλοποίηση μου απ'το πρωι. Μέχρι να βρει τα σημεία και να διαιρέσει τα κουτιά το σειριακό θέλει περίπου 30sec για Ν=2^20. Για να βρει τα colleagues θελει άλλα 20 λεπτά...

Καμιά ιδεα πως θα βρίσκουμε αν ακουμπάνε;
Ενας τρόπος που σκέφτηκα είναι ανάλογα με την θέση των child και του parent μπορεί να προκύπτει ποια μεταξύ τους θα είναι colleague.
Ένας άλλος τρόπος ανάλογα με τα κέντρα τους να μην απέχουν παραπάνω από κάποια απόσταση. Έτσι όμως θα πρέπει να συγκρίνονται όσα είναι στο ίδιο level οπότε θα αυξάνει σημαντικά ο χρόνος.
Κανείς καμιά ιδέα;

Παιδιά όντως το σειριακό κάνει μόνο  30 sec για τον υπολογισμό των κέντρων? γιατί εμένα αργεί αρκετα για 2^20 σημεία. Αν είναι να προσπαθήσω να αλλάξω τον κώδικα μου  :( :(

Κατάφερε κανείς να συνδεθεί στον diades;;  :(
Όταν μου ζητάει κωδικό, ενώ πληκτρολογώ δεν δείχνει να γράφω κάτι το τερματικό. Και όταν πατάω enter λέει permission denied.

Γράφει όταν πληκτρολογείς απλά δε σου το εμφανίζει (για λόγους ασφαλείας). Το permission denied λογικά είναι γιατί δίνεις λάθος password!

Μπορούμε να χρησιμοποιήσουμε vector για την εργασία; Στο internet λενε οτι το vector δεν είναι thread-safe.
Γίνεται ένα thread να εκτελεί κάποια εργασία στο ίδιο vector με ένα άλλο thread (σε διαφορετικά σημεία); Θα πρέπει να γίνεται lock ολόκληρο το vector;

λογικα (με open mp) αρκει οπου κανεις write στο vector να δηλωνεις #pragma omp critical
κατα τα αλλα οσο αναφορα την αναγνωση, νομιζω δεν υπαρχει θεμα

Το Box leaf [] θα περιέχει τους κύβους που περιέχουν από 1-20 σημεία;
Ακόμη το άθροισμα των σημείων των κύβουν που είναι στο leaf[] θα πρέπει να είναι ίσο με τον αριθμό των συνολικών σημείων;

Ναι και ναι.

Μου βγάζει αυτό το πρόβλημα όταν τρέχω το OpenMP "libgomp: Thread creation failed: Resource temporarily unavailable".
Ξέρει κανείς τι φταίει; Ψάχνω στο google αλλα δε βρίσκω τπτ που να βοηθάει..

Θα στείλουμε 2 διαφορετικά προγράμματα, ένα με pthreads και ένα με openmp;

Ναι, θα κανεις μαλλον ένα zip με τα δύο αρχεία και την αναφορα!

Γιατι μπορει να μην χρησιμοποιει το προγραμμα μου 100% τη cpu και να χρησιμοποιει max 35.... -.-' ?

Έχει ανακοινωθεί ημερομηνία παράδοσης για την δεύτερη εργασία;

Μέσα στο μάθημα είχε πει ότι θα μας έδινε διορία μέχρι και τα Φώτα

Κάνω την αρχη..μπορεί κάποιος να εξηγήσει πώς και που(στο δικό μας PC ή μονο στο diades/hellasgrid) τρέχουμε ένα πρόγραμμα MPI ?? εχώ μπερδευτεί λίγο γιατι κάνω "mpirun -n -4 ./kmeansTest xx yy zz"(edit: χωρίς να χω βάλει καν την mpi.h) και μου τρέχει το πρόγραμμα 4 φορές και στο ίδιο χρόνο που θα κάνει το σκέτο "./kmeansTest ...". μάλλον δε το πάω καλα...

Δεν εχω καταλαβει ακομα γιατι υπαρχουν τοσα αρχεια στο .tar. Τι διαφορα εχει το kmeans.c απο το kmeanstest.c και ποιο χρησιμοποιουμε τελικα? Γιατι πρεπει καθε φορα να ειναι τοσο περιπλοκο και να μη δινονται διευκρινισεις ?..

το kmeanstest.c έχει τελείως διαφορετικές συναρτήσεις απο το kmeans.c . Τι εννοείς ποια η διαφορά;

Αν καταλαβα καλα απο τη main του test καλουμε την cluster() του kmeans.c.. ευχαριστω για την απαντηση δεν το ειχα παρατηρησει..

αν δεις το αρχείο Makefile φαίνεται ότι τρέχεις ταυτόχρονα τα αρχεία..
τα headers απλά νομίζω ότι τα έχει χωριστά ώστε να μας δώσει να καταλάβουμε τι πληροφορία φέρουν
νομιζω δηλαδη ότι το kmeans.h περιέχει τις πληροφορίες ορισμού του data_struct με το οποιο δουλεύει παντού και το cluster.h νομίζω ορίζει τα clusters "εξωτερικά" (με χρήση της συναρτησης cluster από το kmeans.c πρακτικα)

Eγώ δεν έχω καταλάβει τι ρόλο παίζει το import_data.m . Kαμιά ιδέα;

μαλλον για οπτικοποιηση των σημειων με matlab μετα το clustering απλα κανει το import των αρχειων που εχουν γεμισει κατα την εκτελεση.. Ακομα και επαληθευση μπορεις να κανεις, το  matlab   εχει συναρτηση  kmeans

Μάλιστα..Καλό ακούγεται. Ευχαριστώ για την βοήθεια!

Καλη συνεχεια και καλες γιορτες σε ολους!

Μπορεί κάποιος να εξηγήση πως θα τρέξω το Kmeans?

Αφού αποσυμπιέσεις το αρχείο που υπάρχει στο ethmmy σε κάποιον φάκελο της επιλογής σου,
πήγαινε με την κονσόλα στο φάκελο αυτό και εκτέλεσε την εντολή

make

.
Αφού το κάνεις αυτό για να τρέξεις πλέον το σειριακό πρόγραμμα γράφεις

./kmeansTest  arg1 arg2 arg3

όπου αντί για arg1, arg2, arg3 βάζεις νούμερα για :

arg1 : πλήθος σημείων
arg2 : πλήθος διαστάσεων
arg3 : πλήθος ομάδων (clusters).

Στο make δε θελει να αλλαξει το gcc σε mpicc???... τουλαχιστον σε μενα έτσι έτρεξε ... xD

Ο κώδικας που μας δίνεται είναι σειριακός και δε χρησιμοποιεί MPI. Οπότε και με gcc μια χαρά κάνει
compile.

Δεν υπάρχει πρόβλημα να το κάνεις mpicc όπως λες γιατί το mpicc κάνει compile και κώδικα απλής c.

Αν αλλάξεις το gcc με mpicc είναι σα να του λες "κάνε compile αυτόν τον κώδικα που περιέχει εντολές MPI"
ενώ ο κώδικάς σου δεν περιέχει εντολές MPI. :P

α βασικα μιλαμε μονο για σειριακο...ναι εχεις δικιο...βασικα επειδη εγώ ετρεχα μέσω Mpi δε μου τ ετρεχε....

Μπορεί κάποιος να εξηγήσει πώς το kmeansTest μπορεί και χρησιμοποιεί τη συνάρτηση cluster (σε κάποιο σημείο της main) η οποία ανήκει στο kmeans αρχείο?

Γενικά στην εντολή gcc μπορείς να δώσεις παραπάνω από ένα αρχεία με κώδικα. Για παράδειγμα εάν έχεις
ένα αρχείο main.c με κώδικα


και ένα αρχείο function.c με κώδικα


μπορείς να γράψεις

gcc main.c function.c

ώστε ο compiler να ξέρει ότι υπάρχει κώδικας και στο αρχείο function.c. Έτσι, όταν δεν βρει την υλοποίηση της συνάρτησης add στο αρχείο main.c θα ψάξει στο αρχείο function.c ( ή τέλος πάντων θα ξέρει ότι και στο function.c έχει κώδικα, δεν ξέρω ακριβώς πώς λειτουργεί ο compiler) .

Κάτι παρόμοιο κάνει και το αρχείο Makefile που μας δίνεται, γι αυτό και η συνάρτηση cluster χρησιμοποιείται στο kmeansTest.c ενώ η υλοποίησή της βρίσκεται στο kmeans.c .

Ωραίος . Κατάλαβα θενκς. Και στην ουσία εμείς τώρα πρέπει να τροποποιήσουμε το test ώστε να τρέχει παράλληλα με MPI σωστά ;

υπάρχει περίπτωση εκτός απο το make να χρειαστώ τίποτα άλλο;

Εγώ έγραψα από την αρχή τον κώδικα για το MPI και απλά όπου χρειαζόμουν κάποιο κομμάτι κώδικα
που υπήρχε σε κάποιο από τα αρχεία που μας δίνονται ( όπως η συνάρτηση save στο αρχείο kmeansTest.c για παράδειγμα) το έπαιρνα με copy-paste, αλλά ναι, πιστεύω πως το να κάνεις αλλαγές στον κώδικα που μας έδωσαν για να τρέχει παράλληλα είναι εξίσου θεμιτό!


Σε ubuntu με εγκατεστημένο τον GNU compiler της c δεν μου χρειάστηκε κάτι άλλο.

σε cygwin πρεπει να προστέσω κάνα άλλο πακέτο;

Δεν έχω δουλέψει καθόλου σε cygwin αλλά από όσα μου έχουν πει και με μια γρήγορη αναζήτηση στο google
νομίζω ότι δεν έχει προεγκατεστημένη την εντολή make αλλά θα πρέπει να την επιλέξεις κατά την διάρκεια
της εγκατάστασης όταν επιλέγεις ποια πακέτα θέλεις να εγκαταστήσεις. Για το αν χρειάζονται επιπλεόν
πακέτα δε γνωρίζω.

Αν κάποιος δουλεύει σε cygwin και θέλει, ας μας διαφωτίσει πάνω στο θέμα!

Το make χρειαζεται να το βαλεις κατα την εγκατασταση...γενικα δες παλιοτερα post απο αλλες χρονιες για να βγαλεις ακρη με το cygwin...εγω 2 μερες παλευα...αληθεια...

ΠΑΝΑΓΙΕΣ ΚΑΙ ΧΡΙΣΤΟΥΛΗΔΕΣ ΧΡΙΣΤΟΥΓΕΝΝΙΑΤΙΚΑ

ΚΑΤΕΒΑΖΑ ΤΟ CYGWIN ΜΕ ΣΑΠΙΟ ΙΝΤΕΡΝΕΤ ΠΕΡΙΜΕΝΑ 3 ΩΡΕΣ ΓΙΑ ΝΑ ΜΟΥ ΠΕΙ DOWNLOAD INCOMPLETE....


αύριο ubuntu και τέλος... ΑΙ ΣΙΧΤΙΡ

στα λεγα;

τα έλεγες γαμώ

Τρέχοντας το kmeansTest παίρνουμε 4 αρχεία bin, τα οποία διαβάζουμε με το αρχείο matlab που δίνεται.
Το έχει δοκιμάσει κανείς ? Μου βγάζει το εξής σφάλμα
"??? Input argument "numAttributes" is undefined."

Η συνάρτηση import_data δέχεται τρία ορίσματα ως είσοδο. Το πρώτο είναι το πλήθος των σημείων, το δεύτερο είναι το πλήθος των διαστάσεων και το τρίτο είναι το πλήθος των ομάδων (clusters). Στην ουσία η είσοδος είναι ίδια με αυτήν που δίνει στο kmeansTest. Αν γράψεις στην κονσόλα

./kmeansTest 5000 3 4

Τότε στο Matlab μπορείς να γράψεις

[myDataset myIndex myCentroids mySizes] = import_data(5000, 3, 4);

και στον πίνακα myDataset θα πάρεις τα σημεία,
στον πίνακα myIndex παίρνεις την ομάδα στην οποία ανήκει το κάθε σημείο,
στον πίνακα myCentroids παίρνεις τα τελικά κέντρα των ομάδων και στον
πίνακα mySizes παίρνεις το πλήθος των σημείων κάθε ομάδας!

Σε ευχαριστώ, πληρέστατη απάντηση :D

Έχει δώσει καμιά υπόδειξη στο μάθημα όσον αφορά την υλοποίηση με MPI ?
πχ υλοποίηση με master/workers η οποία θα χρησιμοποιεί send/receive με έναν master(root) που θα διανέμει τη δουλειά στους υπόλοιπους, ή υλοποίηση με bcast/reduce στην οποία ακόμα και ο επεξεργαστής root θα εκτελεί κι αυτός υπολογισμούς όπως και οι υπόλοιποι ?

Επειδή δεν είδα να λέει και επίσημα κάπου την ημερομηνία παράδοσης (αν και το άκουσα και γω στο μάθημα, για των φώτων)
λέτε να ψήσει ο Πιτσιάνης καμια παρατασούλα;
Γιατί στο πατρικό δεν βλέπω να βγαίνει δουλειά... 
:(

Μια απ'τα ίδια ... Καλό θα ήταν να ζητούσαμε μια παράταση ...

+1 για την παράταση...

To "πρόβλημα που θα αναρτηθεί αργότερα" (ερώτημα 2 στην εργασία), ξέρει κανείς ποιό είναι? Είχε πει τίποτα στο μάθημα?

+1

Στο Matlab γράφω στο Command Window το παρακάτω..

Και μου βγάζει..

Καμιά ιδέα;;

Prospathw na kanw compile ena aplo mpi programma sta ubuntu.

Kanw mpicc file.c -o test

kai otan to trexw me ./test douleuei

an omws paw na to paixw me mpirun -np test exei provlima xerei kaneis ti mporei na ftaiei? GEnika den vgazw akri

Για να το τρέξεις κάνε mpiexec -np (το πλήθος των procs που θες) ./test

Ρε παιδιά,

μπορεί κάποιος να γράψει σύνταξη της εντολής scp για τον διάδη?

Για κάποιο λόγο δεν τα καταφέρνω...

scp -P [arithmosPort] /path/pros/arxeio/gia/metafora usernameSou@diades.ee.auth.gr:/home/usernameSou

Αααα, δεν πρέπει να είσαι συνδεδεμένος με τον cluster ε? :P

Φχαριστώ :D

Τι είναι ο διάδης που αναφέρουν και σε άλλα post και που χρειάζεται στην εργασία;

Είναι ένα cluster υπολογιστών.
Μπορούμε να τους χρησιμοποιούμε για να τρέχουμε παράλληλα προγράμματα και μας έχουν δώσει accounts.
Πού ήσουν στην 1η εργασία ? :P

Σας τρέχει πρόγραμμα MPI κανονικά στον Διάδη ?

Δε γνώριζα κατι γιαυτο και δεν το ανεφερε πουθενά.την εργασια πρωτη εργασία την ετρεξα στο δικο μου laptop.
 Πως κάνουμε account;

Πρέπει να στείλεις mail στον Σισμάνη και θα σου κάνει αυτός λογαριασμό. Πάντος δεν είναι υποχρεωτικόνα έχεις λογαριασμό για να κάνεις τις εργασίες, μπορείς να τις τρέχεις στο δικό σου pc.

@aloko

Εμένα μου βγάζει ένα error και στο compilation και στο run. Λέει ότι λείπει μια shared βιβλιοθήκη "glibc" (  ^idiot^ )

Επίσης παιδιά, οι μετρήσεις λέει πρέπει να γίνουν τρέχοντας τα προγράμματα στον διάδη, όχι σε δικό μας σύστημα...

Που το λέει αυτό? Δεν λέει κάτι τέτοιο στην εκφώνηση.

To είχε πει στο μάθημα...
(Μη σκας, αν τρέχει στο pc σου θα τρέχει και κει)

το ίδιο σφάλμα με την shared βιβλιοθήκη μου βγάζει και μένα στο Διαδη ,
δεν εχω καταφέρει να τρέξω ακόμα κατι

Προσπάθησε να επικοινωνήσει και συ με τον Σισμανη. Του στειλα και δεν απαντάει...
Κανεις άλλος καμια ιδέα;

Την πρώτη φορά απάντησε γρήγορα πρόθυμα και μου ζήτησε να τον ενημερώσω αν παίρνω σφάλμα.
Ε τον ενημέρωσα και έχει 2 μέρες τώρα  :-X , δεν απάντησε κάτι

Tου έχω στείλει μέιλ από τις 26 Δεκεμβρίου όπου τον ρωτάω πώς μπορούμε να
τρέξουμε mpi προγράμματα στο Diades!

Ακόμα καμιά απάντηση...

Επομένως παίρνουμε όλοι το ίδιο σφάλμα ?

edit: se mena pantos oute aplo programma c me tin entoli gcc den kanei compile. To sfalma prepei na sxetizetai me to LD_LIBRARY_PATH..

Κάτι πάει στραβά ... σου στείλε τίποτα ουσιαστικό στην απάντηση ?

Ουσιαστικά το point της εργασίας είναι να τροποποιήσουμε το c προγραμμα που μας δίνει (ή να γράψουμε δικό μας βασισμένο σε αυτό) ώστε να τρέχει παράλληλα;

H apantisi itan i eksis, an thelete dokimaste to:
-------------------------------------------------------------------
Δοκίμασε να προσθέσεις την παρακάτω γραμμή στο
αρχείο .bash_profile στο home folder σου στο diades.

export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH
-----------------------------------------------------------------------------
Se emena de doulepse. H logikh prepei na einai sosti, isos to path na mhn einai sosto (?)

Nai akrivos ayto !

Κατάφερε κανείς να το τρέξει σε πολλαπλά μηχανήματα και local  ?

export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH

Μετά από αυτήν την εντολή έτρεξε κανονικά στον διάδη!!!

οι περσινες οδηγιες ειναι οι εξης:

Αγαπητή τάξη,
 
ssh -p2288 YOURID@diades.ee.auth.gr
 
και password YOURID123!
 
 σας δίνει πρόσβαση στο Διάδη, ένα τετραπύρηνο σύστημα όπου μπορείτε να
 δουλέψετε όλες τις εργασίες των Π&Κ. Όπου YOURID είναι το user id σας σε
 αυτό το email.
 
 
 Πχ αν το id είναι
 
 
 nikos@auth.gr
 
 
τότε και στο diades είστε nikos@diades.ee.auth.gr
 
με αρχικό password "nikos123!"
 
 
Παρακαλώ αλλάξτε το password σας με
 
passwd
 
Μεταφέρετε τον κώδικά σας από το προσωπικό σας υπολογιστή με cygwin μεσω του
bash shell με την εντολή (από το PC πάντα)
 

scp -P 2288 -r mySourcePCdir YOURID@diades.ee.auth.gr:.
 
 
Για αντίστροφη μεταφορά, πάλι από το PC
 
scp -P 2288 -r YOURID@diades.ee.auth.gr:MyDiadesCode MyPCdestination
 
Ερωτήσεις κι απορείες με mail.
 
 
Νίκος

Πώς ακριβώς ? Την εκτέλεσες απλά ή την ενσωμάτωσες στο .bash_profile ??

Κάνε  την copy paste. Όταν την έδωσες εσύ είχες ένα παραπάνω κενό ανάμεσα στο path και το = !

Τι μπορεί να σου κάνει ένα κενό :P Όντως μου έτρεξε κι εμένα τώρα... Ωραίος !!

Η προθεσμία δεν είναι μέχρι αύριο έτσι ;

Δεν νομίζω να μπορεί κάποιος να σου δώσει κάποια σίγουρη απάντηση,

Το καλύτερο που μπορείς να κάνεις είναι να έχεις έτοιμο κάτι μέχρι αύριο το βρραδύ και εαν δεν είναι μέχρι αύριο, τότε να το βελτιώσεις και να κάνεις κάτι καλύτερο.

Αφού δεν  έχει βγάλει καν το πρόβλημα που λέει στην εκφώνηση ρε παιδιά... Δε γίνεται να γίνει παράδοση αύριο !

Το λογικό είναι αυτό που λες, απλά το θέμα είναι ότι το παιδί ρώτησε και αφού δεν υπάρχει κάποια επίσημη ανακοίνωση, ας κάνει ότι προλαβαίνει μέχρι αύριο για να είναι καλυμμένος.

Ναι και εγώ γι'αυτό ρώτησα . Γιατί είχε πει ότι θα ανεβάσει και την 3η εργασία γύρω στα Χριστούγεννα ,και το πρόβλημα που λέει η εκφώνηση . Οπότε φαντάζομαι θα βγάλει κάποια ανακοίνωση για την παράδοση κτλπ.

Παίζει να έπεσε ο διάδης?

edit : συνήλθε

Απάντηση Πιτσιάνη σε μέηλ χθες στις 11.50 το βράδυ:

Αύριο θα ανεβάσουμε τα δεδομένα και θα ανακοινώσουμε ημερομηνία παράδοσης.

Ανοιξαν οι υποβολές!

Ανέβηκαν και τα δεδομένα, προθεσμία έως 11/01 !

Έστω ότι θέλω να τυπώσω πχ το στοιχείο 15 του πίνακα,
δοκιμάζω printf("%d",data[15]) αλλα μου τυπώνει μηδέν ότι και να βάλω στο 15

Δοκίμασε αντί για %d να βάλεις %f γιατί λογικά το στοιχείο σου είναι double .

Το δοκίμασα και αυτό, 0.0000 βγάζει

Τι να σου πώ. Μήπως όλα τα στοιχεία του data είναι μηδέν τότε. Δεν ξέρω.

Μπορείς να κάνεις load τον πίνακα στο Matlab και να δεις τα στοιχεία του. Όντως υπάρχει μεγάλος αριθμός μηδενικών στοιχείων..

Βρήκα τι παίζει, το αναφέρω για να μην ψάχνονται και άλλοι και τρώνε άσκοπα χρόνο
Όπως αναφέρει και το mat2bin "A function that stores the data from kdd_cup_1999.mat in a binary file column-wise."
Δηλαδή διαβάζοντας τα στοιχεία με σειρά στο αρχειο bin, διαβάζουμε τα στοιχεία της πρώτης στήλης.

Για παράδειγμα έστω οτι ο mat είναι:
1   2   3
4   5   6
7   8   9

το αρχείο bin θα αποθηκευτεί ως: 1 4 7 2 5 8 3 6 9

Εμείς ότι πρέπει τώρα και καλά το 210mB .bin αρχείο που προκύπτει πρέπει να το ανεβάσουμε στον διάδη και να το τρέξουμε εκεί?

Ο διάδης έχει matlab. Βάλτε στο path το "/share/apps/matlab2008/bin" και τρέξτε το matlab στο φάκελο σας όπου θα έχετε και το mat2bin

Επομένως χρειάζεται μετατροπή από column-wise σε row-wise ?

Όχι απαραίτητα. Ανάλογα πως σε βολεύει. Ο κώδικας kmeans.c που έδωσε, λειτουργεί column-wise

To έτρεξε κανείς?

Γω που το τρεξα και του ζήτησα 8 κλαστερς μόνο σε 4 έβαλε όλα τα σημεία.

dafuq

Μπορεί και να μπερδεύομαι άδικα, αλλά στον κώδικα που δίνει, το dataset είναι ένας πίνακας double Ν*d που γεμίζει με την random_initialization() ως εξής (αν πχ d=34):
στις 34 πρώτες θέσεις του dataset είναι οι τιμές για το πρώτο σημείο, στις επόμενες 34 θέσεις οι τιμές για το δεύτερο σημείο κ.ο.κ. Είναι row wise.

Όταν ήθελα να τυπώσω το bin που μας έδωσε , στις επαναλήψεις χρησιμοποίησα τον δείκτη [ i*n + j ] για να μου εμφανίσει πχ:
σημειο0: x y z .....
σημείο1: x y z .....

γιαυτό λέω ότι είναι column-wise

Παίζει να τα χω μπερδέψει τώρα που το ξαναβλέπω  :D ...

Νομίζω ότι η όλη προσέγγιση είναι row wise. Είτε γράφεις κώδικα σε c (ένα διπλό loop)
που σου μετατρέπει το data από column-wise σε row-wise είτε το κάνεις μέσω Matlab που είναι και πιο εύκολο...
Και έχεις εξαρχής ένα αρχείο .bin που είναι row-wise.. Εγώ το έκανα και δούλεψε και με τους 2 τρόπους.

Ουσιαστικά πρέπει να αναγνωρίσεις μοτίβα δραστηριότητας σε ένα δίκτυο υπολογιστών οπότε δεν είναι και απίθανο να έχει λίγα clusters! Αν ο τίτλος του dataset είναι σωστός, τότε στο link έχει λεπτομέρειες για όποιον ενδιαφέρεται
http://www.kdd.org/kdd-cup-1999-computer-network-intrusion-detection

Ξέρει μήπως κανένας πώς μπορώ να κάνω οπτικοποίηση των αποτελεσμάτων ; Δηλαδή να κάνω στο matlab πχ plot τα data του αρχείου και τα κεντροειδή που βρήκα ;
Ή κάτι τέτοιο τσπα ...

Δεν πρέπει να εχει νόημα σε 34 διαστάσεις  :P

Εγώ δοκίμασα 3D plot με matlab αλλα οντως δε βγαινει ακρη και δεν αξιζει γενικα..
Όσοι το έτρεξαν τι μεγέθη Clusters βρήκατε πάνω κάτω ? Γιατί μου βγαίνουν όλο κι όλο 2-3 clusters, ένα με τα περισσότερα στοιχεία και τα άλλα με ελάχιστα !

Έτσι και μένα.

Πώς αλλίως μπορώ δηλαδή να κάνω έλεγχο ορθότητας που αναφέρει στην εκφώνηση ;

Ερώτηση
Εχει νόημα να δημιουρήσω MPI_Struct ή να στείλω τις μεταβλητές μια μία?

Νομίζω είναι θέμα δικής σου υλοποίησης. Να φανταστώ το MPI_Struct το θες για να στείλεις δεδομένα μεταξύ των threads;

Ναι αλλα έχω πρόβλημα γιατί τα structs περιεχουν pointers που δεν έχουν νοημα σε mpi οποτε μαλλον πρέπει να περάσω τα δεδομένα και όχι τον  pointer,αλλα δεν ξέρω πως μπορεί να γίνει αυτο. :???:

Χωρίς να θέλω να σε επηρεάσω, αλλά και χωρίς να είμαι σίγουρος ότι η δική μου υλοποίηση είναι σωστή (ακόμα δοκιμές κάνω), δες μήπως μπορείς να το κάνεις έτσι ώστε να μην χρειάζεται επικοινωνία μεταξύ των threads.

Μπορεί κάποιος να πεί τι πρέπει να κάνω στον διάδη για να τρέξω το matlab και να εκτελέσω το MPI αρχείο μου ; Προσπάθησα να κάνω export τις βιβλιοθήκες αλλά δεν βρίσκει τις εντολές και δεν μπορώ να τα εκτελέσω.

Χωρίς να θέλω να σε μπερδέψω, για να τρέξεις εκτελέσιμο της C μέσω matlab το καλείς μέσω της εντολής system.
Εκτός αν υπάρχει κάποιος άλλος τρόπος που δεν ξέρω  :-\

Πρόσθεσε αυτά στο .bash_profile :

Πρεπει να ελεγξουμε την περίπτωση που τα clusters ειναι λιγότερα από τα tasks?

Καμια παράτασει θέλει κανένας? Κανα 2-3 μερούλες, μπας και κανουμε καμια καλή εργασία....   :D

Και το ρωτάς;  8))

+1 και απο μενα για την παραταση

Έχει δοθεί ήδη παράταση μιας μέρας μέχρι την Κυριακή. Το ανέφερε στο μάθημα.
Οπότε ίσως δυσκολευτείτε να τον πείσετε για back2back παράταση :P

Και γω θα ήθελα 2-3 μέρες ακόμη!
Μήπως να οργανωθούμε πριν μπει το σκ? :D

Από ό,τι είπε θα ανεβάσει την επόμενη εργασία την Δευτέρα-Τρίτη, και ίσως για αυτό να θέλει να τελειώσουμε πριν την Δευτέρα την εργασία.


Εγώ πάντος θα στείλω ένα mail, αν υπάρχει και κανένας άλλος που να θέλει να στείλει ας το κάνει (ας μην στείλουμε όμως όλοι).

(noob alert)
Πως προσθέτουμε στο .bash_profile ρε παίδες;  :-[

Μήπως απλά εκτελούμε τις εντολές στο home folder του διάδη; ::)

Ξέρουμε πόσα clusters πρέπει να χρησιμοποιήσουμε για το kdd-cup-1999.bin ?

Λογικά ισχύει ο περιορισμός 2<=κ<=32.

Ένας τρόπος είναι να γράψεις ενώ βρίσκεσαι στο φάκελό σου στο Diades

nano ~/.bash_profile

Βάζεις τις εντολές που αναφέρεις και αποθηκεύεις πατώντας CTRL+X και έπειτα Υ.


Με βάση και το post του aloko στην προηγούμενη σελίδα του topic, υπάρχουν 2 κύρια clusters
που συγκεντρώνουν το μεγαλύτερο μέρος των σημείων. Αν ζητήσεις παραπάνω clusters από τον
αλγόριθμο, θα δεις ότι δύο clusters παίρνουν το μεγαλύτερο κομμάτι των σημείων και τα υπόλοιπα
παίρνουν ελάχιστα σημεία.

Tα παραπάνω σα γενικά συμπεράσματα για τα δεδομένα που δίνονται!

Προφανώς το πόσα clusters θα ζητήσεις από τον αλγόριθμο είναι καθαρά δικό σου θέμα! Ο μόνος περιορισμός που εισάγεται από την εκφώνηση της εργασίας είναι αυτός που γράφει ο Sage στο παραπάνω post.

Τελικά έχει δοθεί παράταση μέχρι Κυριακή;

Ναι είπε στην τάξη οτι είναι μέχρι Κυριακή η παράδοση .

Ο έλεγχος ορθότητας τι είναι και πως γίνεται;

Εχει αναφερει στην ταξη οτι ειναι απαραιτητο να τρεξουμε την εργασια στον διαδη?

Αν ναι μπορει καποιος που ξερει να πει πως κανουμε copy αρχεια απο το pc μας στον διαδη?

Δεν είναι απαραίτητο, άλλα θα είναι κάλο για τα αποτελέσματα σου  :P

Για να κανεις copy
πχ το αρχειο kmeans.c στον home folder, ανοιγεις την consola  πας στον φακελο που ειναι το αρχειο στον υπολογιστή σου και γραφεις :

 scp -P 2288 -r kmeans.c  xenofons@diades.ee.auth.gr:~

--
Αν θες να ανεβάσεις το αρχείο kdd-cup-1999.bin θα σου πρότεινα να το συμπιέσεις σε .tar.gz και να το αποσυμπιέσεις στον σερβερ με
tar -zxvf kdd-cup-1999.tar.gz

Ο αλγόριθμος Kmeans, στη μορφή που τον υλοποιούμε εμείς τουλάχιστον, δεν περιλαμβάνει
τυχαία γεγονότα, συνεπώς για συγκεκριμένη είσοδο η έξοδος είναι καθορισμένη.

Ο έλεγχος της ορθότητας αφορά τον έλεγχο για το εάν το πρόγραμμα που γράψαμε δίνει τα σωστά αποτελέσματα.

Μπορείς να κάνεις αυτόν τον έλεγχο με πολλούς τρόπους. Σαν παράδειγμα, μπορείς να
δώσεις την ίδια είσοδο στο πρόγραμμα που έγραψες και στο σειριακό πρόγραμμα που μας δίνεται
και να συγκρίνεις τις εξόδους τους. Έαν τα δύο προγράμματα δίνουν την ίδια έξοδο και δεδομένου
ότι το σειριακό πρόγραμμα που μας δίνεται λειτουργεί σωστά, τότε το πρόγραμμα που έγραψες
λειτουργεί και αυτό σωστά.



Ή εναλλακτικά, μπορείς να τρέξεις απευθείας το mat2bin.m με το Matlab που υπάρχει στο Diades
έτσι ώστε το αρχείο kdd-cup-1999.bin να παραχθεί απευθείας στο σύστημα του Diades και να μην
χρειάζεται να το κάνεις upload.

Πληροφορίες για το πώς να τρέξεις το Matlab στο Diades υπάρχουν σε προηγούμενες σελίδες
του topic.

Ευχαριστώ πολύ!

Έχω διαβάσει τις προηγούμενες σελίδες αλλά δεν κατάφερα να τρέξω το mat2bin στον Διαδη. Το .bash_profile  έχει τις παρακάτω γραμμές :
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs
PATH=$PATH:$HOME/bin
PATH =$PATH:/share/apps/matlab2008/bin
export PATH
LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH


Aν τα παραπάνω είναι σωστά τι πρέπει να κάνω για να τρέξει το αρχείο mat2bin.m?
Προσπάθησα να το κάνω compile με mcc αλλά δεν αναγνωρίζει την εντολή...

Δοκίμασε μ'αυτό . Μετα τρέξε την εντολή matlab . Αφού σου τρέξει το πρόγραμμα,(μην περιμένεις γραφικό περιβάλλον) δώσε την εντολή: mat2bin.m για να σου τρέξει το script . Άν όλα πάνε καλά θα σου φτιάξει το αρχείο .bin με τα δεδομένα .

-bash: matlab: command not found :'( :'( :'(

Δοκίμασε :
/usr/local/MATLAB/R2012b/bin/matlab -nodesktop -nosplash

Όταν προσπαθώ να συνδεθώ στον Διάδη, καθυστερεί πολλή ώρα να ζητήσει κωδικό (2-3 λεπτά) και όταν τον βάλω μου βγάζει Connection closed by 155.207.33.194. Έχει κανείς κάποια ιδέα για το τι φταίει;

Πρεπει να ειναι απο τους πολλους χρηστες που ειναι μεσα και τρεχουν τα προγραμματα τους.

κ εμένα μου το βγάζει αυτό πάντα όταν προσπαθώ να μπω από τον υπολογιστή μου ακόμα και δοκιμάζοντας λογαριασμούς φίλων που ήταν πριν 5 λεπτά συνδεδεμένοι. Μάλλον κάτι άλλο είναι. Το έχω ψάξει πολύ ρώτησα και το Σισμάνη και δεν έχω βγάλει άκρη.

Το έλυσα χρησιμοποιώντας VM. Δηλαδή δεν το έλυσα απλώς βρήκα άλλο τρόπο να κάνω τη δουλειά μου.

Τι λειτουργικό έχεις btw? Εγώ έχω linux mint 13

Δοκίμασε να μην περιμένεις. Πάτα Ctrl+C και συνδέσου ξανά μετά από λιγο. Εγώ κάθε φορά που μου συμβαίνει αυτό που λες κάνω αυτό και δουλεύει κανονικά. Παίζει να υπερφορτώνει ο διάδης.

Ερώτηση:
Πως μπορώ να κάνω plot στο matlab τα αποτελέσματά του αλγορίθμου?

Plot με 30 διαστάσεις λίγο δύσκολο να βγάλεις άκρη !

Έχω  ubuntu 12.04 LTS.
Βασικά δεν πολύκαίγομαι για τον Διάδη, αφού έχω 4πύρινο επεξεργαστή, απλά αναρωτιόμουν αν εγώ έκανα κάτι λάθος ή αν έφταιγε ο διάδης.

Σε εμένα δεν φταίει ο Διάδης 100%.
Ότι και να κάνω παίρνω το  Connection closed by 155.207.33.194.

Αν έχει κανείς καμιά άλλη ιδέα θα βοηθούσε.

Θα πάρει καμια παράταση η εργασια???εχει απαντήσει σε κανεναν?

Όσον αφορά το 2ο κομμάτι της εργασίας χρειάζεται να τροποποιήσουμε τον κώδικα περαιτέρω;

να κανεις εισαγωγη το .bin αρχειο χρειαζεται

Έχει πει τίποτα για την τρίτη εργασία;

Οτι θα ανέβει την παρασκευη ( που μας πέρασε )  :-X

Ρε κοπέλες και μάγκες,

ΠΟΤΕ ΣΤΟΝ ****** ΠΕΡΙΜΕΝΟΥΝ ΝΑ ΤΗΝ ΑΝΕΒΑΣΟΥΝ ΤΗΝ ΕΡΓΑΣΙΑ?

Δηλαδή απαράδεκτοι πλήρως...



Ξέρουμε αν θα γίνει μάθημα την Τετάρτη?

Υπάρχει περίπτωση να μπορούμε να παραδώσουμε την Τρίτη εργασία μετά την εξεταστική? Έτσι κι αλλιώς δεν είπε ότι ο βαθμός μπορεί να μπει το Σεπτέμβρη?
Νομίζω αφού υπάρχει αυτή η δυνατότητα κρίμα να χάσουμε χρόνο από την εξεταστική :???:

+1

ή και καλύτερα να πάει για Σεπτέμβρη μαζί με την 4η ,όπως γινόταν απο ότι έχω δει σε παλιότερες χρονιές.
Γενικά πιστεύω ότι την Τετάρτη θα πρέπει να συζητηθεί αυτό το θέμα.Δεν γίνεται να μπαίνει εργασία τελευταία στιγμή.

Ναι και πριν από αυτό ότι θα βγει μέσα στα Χριστούγεννα "για να την βλέπουμε". Υποτίθεται σήμερα πρέπει να την ανεβάσει. Δηλαδή 14 Ιανουαρίου είναι ρε φίλε, 28 δίνουμε λειτουργικά. Γιατί είναι τόσο τα ζώα μου αργά δεν καταλαβαίνω.

Σήμερα θα γίνει μαθημα???και αν ναι είπε με τι θα σχετίζεται???

Παιδιά αν μπορεί κάποιος να αναφέρει τι έκανε σήμερα και αν είπε τίποτα για τις εργασίες θα του ήμουν ευγνώμων

Η τριτη με τη CUDA θα ανεβεί σήμερα και θα έχει 2 βδομάδες διορία.

Η διορία της 4ης θα ειναι μεχρι ~1 βδομαδα μετα το τελος της εξεταστικης και αν δωσει σεπτεμβριο χανει καμποσο δεν ξερω ακριβώς.

Thanks

Άπό την εκφώνηση:

Δηλαδή 2*10*8=160 μετρήσεις θα κάνουμε;

Ρε παιδιά, αντικειμενικά. Ο χρόνος για την εργασία + ο χρόνος για το διάβασμα της εξεταστικής βγαίνουν παραπάνω από 24 τη μέρα. Εγώ θα στείλω ένα εμαιλ στον πιτσιάνη μήπως μπορούμε να δώσουμε την εργασία μετά την εξεταστική.
Νομίζω είναι παράλογο να βγάζουν την εργασία 2 βδομάδες πριν την εξεταστική και να απαιτουν να παραδώσουμε τώρα. 8))

Και πιο παράλογο είναι να βγάλουν την 4η εργασία μέσα στην εξεταστική με παράδοση μια βδομάδα μετα το τέλος της εξεταστικής...

Είναι αδιανόητο αυτό το πράμα. Θα στείλω και εγώ μειλ!

μόλις μου θύμισες γιατί παράτησα το μάθημα....

Λοιπόν μιας και ήμουν από τους λίγους που πάτησαν στο μάθημα, να σας ενημερώσω πως είπε ότι είναι εύκολη και γιαυτό την έβαλε για πριν την εξεταστική και εαν θέλουμε βαθμό τον Φλεβάρη θα πρέπει να την κάνουμε.
Επίσης πρόσθεσε πως μπορούμε να την κάνουμε για τον Σεπτέμβρη αλλά θα έχουμε μείωση στην βαθμολογία δύο δέκατα (δηλαδή άριστα 9.8) εκτός αν δεν την παραδώσει κανείς πριν την εξεταστική οπότε και δεν θα έχει κανείς μείωση στη βαθμολογία.
Αυτά κατάλαβα, αυτά σας μεταφέρω.
Καλημέρα. ^hat^

Αυτά αναφέρονται στην 3η εργασία η στην 4η;

Όταν λέει εύκολη , εννοεί τύπου "η πρώτη εργασία θα σας πάρει 8 ώρες" κι αυτή?  Γιατί αν είναι έτσι χαιρέτα μας τον πλάτανο...

Για την τρίτη νομίζω (για να λέει "πριν την εξεταστική"). 

Εξήγησε στο μάθημα ο άνθρωπος. Και την 3η και την 4η μπορούμε να τις παραδώσουμε όποτε θέλουμε μέχρι τον Σεπτέμβριο με μια ποινή (0.2 στα 10),η οποία για μένα προσωπικά είναι αστεία, ΜΟΝΟ για την 3η εργασία και ΜΟΝΟ άν την παραδώσει κάποιος μέχρι την αρχή αυτής της εξεταστικής. Οπότε εγώ προσωπικά θα αφήσω να περάσει η εξεταστική και θα τις κάνω με την άνεσή μου.

Δε θυμάμαι ότι αυτό ισχύει για την 3η, η ποινή του 0,2 αναφέρεται σίγουρα για την παράδοση της 4ης το Σεπτέμβριο.
Η 3η εργασία νομίζω έχει την διορία που αναφέρεται στην εκφώνηση της (καλά ίσως και κάποια μικρή παράταση).
Γι αυτό άλλωστε την χαρακτήρισε και εύκολη, πάντως στο μάθημα σίγουρα ανέφερε ότι το μάθημα για να περαστεί πρέπει να παραδοθούν και οι 4 εργασίες (για να μην υπάρξει παραπλάνηση καθώς με 3 εργασίες βαθμολογικά περνάς )

Έστειλα email και η απάντηση είναι η εξής:

άρα η ποινή του 0,2 στα 10 αφορά την 3η εργασία σε περίπτωση που παραδοθεί το σεπτέμβρη;;

Μάλλον στην 3η εργασία ισχύει η ποινή του 20% όπως στις προηγούμενες

Έστειλε κανείς email για το 20%? γιατι του στελνω εγω αν ειναι να ξεκαθαρισει το 20% η 0.2 για την τριτη... επισης για τον διαδη στον πιτσιανη στελνουμε η τον σισμανη?

Για διάδη εγώ με τον Σισμάνη επικοινώνησα

Έστειλα mail, όταν απαντήσει ο professor ενημερωνω

Η απαντηση:

Θέλω να τελειώσετε την εργασία 3 τώρα που τα θυμάστε. Είναι εύκολη και σύντομη.

Το κόστος καθυστέρησης θα προσδιοριστεί έτσι ώστε όσοι παραδίδουν έγκαιρα καλές εργασίες, να παίρνουν και τον καλύτερο βαθμό.

N

Koinws: tha afairesw oti moy kavlwsei.

(ps: sorry for greeklish)

"Εύκολη και σύντομη"

 ^rolfmao^ ^rolfmao^ ^rolfmao^ ^rolfmao^ ^rolfmao^

σήμερα θα γίνει κανονικά μάθημα? ή τελειώσαμε?

Γμστ...πήγα να ξεκινησω κ απελπιστηκα  ::)


Βασικα πως μπορούμε να τρέξουμε τον κώδικα που μας δίνει στα windows???κατέβασα το VS που λένε παλια αλλά το make δεν το αναγνωριζει :S

Επίσης πήγε κανένας στο τελευταίο  μάθημα?

Πήγα εγώ ...

Μπορεις να μας πεις τι εκανε ?

+1

Τίποτα καινούργιο. Κουβεντιάσαμε γενικά για το μάθημα και έκανε μια περίληψη με όσα ασχοληθήκαμε κυρίως στις εργασίες. Μας είπε επίσης με λίγα λόγια ποιά κομμάτια παράλληλου προγραμματισμού καλύφθηκαν στο εξάμηνο και ποιά όχι! Γενικά ήταν μια πολύ χαλαρή κουβέντα . Αυτό, τπτα παραπάνω.

Έτρεξε κανείς το knnTest με 1048576 128 1000 8 είσοδο? Έβγαλε segmentation fault?

Στο διαδη που το έτρεξα δεν εβγαλε πρόβλημα

Οκ είναι memory issue τότε, όντως τρέχει στον διάδη thanks

Όταν κάνω make την knns ή την kmeans-gpu στον διάδη μου βγάζει error

/usr/local/libexec/gcc/x86_64-unknown-linux-gnu/4.4.3/cc1: error while loading shared libraries: libmpfr.so.4: cannot open shared object file: No such file or directory

Ξέρει κανείς τι φταίει;

Είχα κι εγώ το ίδιο πρόβλημα όταν προσπαθούσα να τρέξω openMP στο σύστημα Diades. Δοκίμασε να βάλεις
στο bash_profile την εντολή

export PATH=/usr/bin:$PATH

.

Ένας τρόπος για να το κάνεις αυτό είναι να γράψεις στην κονσόλα και ενώ είσαι συνδεδεμένος στο Diades :

nano ~/.bash_profile

, έπειτα, πηγαίνεις προς το τέλος του αρχείου και γράφεις την εντολή με το export που σου είπα παραπάνω, κάνεις save και exit.

Στον Διαδη η nvidia γιοκ .... είναι σα να μην λειτουργούν οι drivers βασικά δεν βλέπει τίποτα

Πάει η κάρτα... ^boil^

Και η εντολη "nvidia-smi" δεν εμφανίζει τίποτα... Μας παίρνει να ζητήσουμε παράταση 2-3 μέρες :P

Υπέροχα πάλι ....

Κανα mail ας στείλουμε μπας και ενδιαφερθεί να το διορθώσει ...

Παράταση 2-3 εβδομάδες πες καλύτερα...

To parallel reduction δε χρησιμεύει για να βρούμε sums, min ή max; Πως θα το χρησιμοποιήσουμε για να βρούμε 4 min values με τη μία;

Μήπως ήρθε ο καιρός να ζητήσουμε παράταση καμιάς βδομάδας;

Δεν θα βρεις 1 φορά 4 min (αν και γίνεται πιο πολύπλοκα) αλλά 4 φορές 1 min. (αυτά που βρήκες στα προηγούμενα reductions δεν τα λαμβάνεις υπ'όψην σου στο κάθε επόμενο)

Το είχα σκεφτεί σα λύση, αλλά ειναι αποδοτική λύση; Γιατί διατρέχεις κάθε πίνακα k [πχ 4] φορές για να βρεις k minimums, το οποίο γίνεται πολλές φορές αφού πρέπει ο μεγάλος πίνακας των αποστάσεων να χωριστεί σε μικρότερους και μετά να γίνει το reduction. Δε θα ήταν πιο αποδοτικό αντί για reduction να κάναμε κάποιο sort; Βέβαια στην εκφώνηση reduction ζητάει.

Παιδία έστειλα e-mail για παράταση (προχθες) και μου είπε πως δε θα δοθεί...

 ^curses^ Είπε γιατί;

E ωραια δεν θα κανουμε την εργασια τοτε  :P

Παιδιά, να ρωτήσω κάτι? μόλις ξεκίνησα την εργασία και διαβάζω το cudaKmeans.cu που δίνει ο Πιτσιάνης. Στο αρχείο χρησιμοποιεί mexFunction και αντίστοιχες συναρτήσεις mex. Στην εργασία εμείς πρέπει/μπορούμε να χρησιμοποιήσουμε mex ή όχι?

όχι δεν πρέπει, ναι μπορείς, δεν θα το έκανα όμως

Hm όταν λέει "Συνθέστε το σύνολο δεδομένων από τα learn και base vector." εννοεί να ενώσουμε τα δύο dataset σε ένα? Δηλαδή 1.100.000 σημεία και 10.000 queries. Γιατί αυτό κάνω αυτή την στιγμή αλλά είναι λίγο ginormous και δεν είμαι σίγουρος αν θέλει να το τρέξουμε και στο σειριακό αυτό. Γιατί λέει πιο πάνω "Σχόλια για την ταχύτητα υπολογισμών, συγκριτικά με το σειριακό κώδικα που δίνεται, για N = [2¹⁹; 2²⁰], Q = [1 :100 : 1000], k = [1 : 8]. Για τη σύγκριση χρησιμοποιήστε το σύνολο δεδομένων που περιγράφεται παρακάτω.". Είναι λίγο περίεργο βασικά γιατί δεν νιώθω που κολάει το sift1m αν τα συγκρίνουμε για τα νούμερα που λέει. Επίσης το είπε και ένας πιο πάνω, βγαίνουν 48 συνδυασμοί δοκιμών και αν βάλουμε και το σειριακό 96. Άλλη δουλειά δεν είχαμε? Μάλλον θα είναι στην βούληση και στην όρεξη του καθενός.

Είναι και άλλοι που δεν την στείλανε ακόμα ?
Μην μείνω μόνος μου ξεκρέμαστος  :P

ειμαστε αρκετοί πιστεύω/ελπίζω...

έβγαλε 3 θέματα για την 4η btw.

Επίσης πες ότι πάμε την 4η εργασία για Σεπτέμβριο (αν δεν την πας για Σεπτέμβριο απλώς δεν δίνεις τίποτα στην εξεταστική και πεθαίνεις από καρκίνο), ο Χασάπης έβγαλε χθες ανακοίνωση ότι το NachOS είναι μέχρι 21/2/2014. Τώρα δεν ξέρω πόσοι ασχοληθήκατε και με εργασία Δίκτυα και με εργασίες AVR και σκοπεύετε και να δώσετε κάτι τις στην εξεταστική, άλλα όσοι είστε μπορείτε να μου πείτε τι στον πέο κάνουμε?

Anyway είναι λίγο κωμικοτραγικό

Ποια 4η? Εδώ την 3η δεν κάναμε ακόμα.

Επίσης δεν είναι απλά κωμικοτραγικό.
Για την κατάσταση δεν υπάρχουν λέξεις που να μπορούν να την περιγράψουν πλήρως...

Και εγώ ούτε την 3η δεν έχω κάνει ακόμα. Ελπίζω να την παραδώσω μέχρι τέλος Φεβρουαρίου. Και την 4η μετά (τον Μάρτιο δλδ). Πιστεύω η διορία που έδωσε είναι απλά για γέλια. Άσε που είναι και οι υπόλοιπες εργασίες που ανέφερες στην μέση ...

Στο διαδη πως κάνουμε compile?  δοκίμασα "nvcc -O4 file.cu" που στο pc μου δουλεύει και στο διάδη μου βγάζει αυτό:



 

Παιδιά με την 3η όσο αφορά την ποινή και το μέχρι πότε μπορούμε να την ανεβάσουμε ξέρουμε τι παίζει στα σίγουρα?γιατί βλέπω έχει κλειδώσει τις δηλώσεις αλλά δεν έχει βγάλει καμια σχετική ανακοίνωση.Δλδ αν την τελιώσουμε μέχρι το τέλος της εξεταστικής την ανεβάζουμε κανονικά εφόσον έχουμε κάνει ήδη ομάδα στις προηγούμενες δηλώσεις ή περιμένουμε να ανοίξουν καινούργιες?Έχει στείλει κανείς mail?

Ξεχασα να κανω ομαδα να παρει  :-\
Θα στειλω σε λιγο να ρωτησω εχεις στειλει τιποτα εσυ;

Και γω και γω ξεχασα :D

Ας τον σπαμαρουμε για αλλη μια φορα να τις ανοιξει...

Έστειλα για να ανοίξουν την ομάδα για τη 3ή  εργασία και τις άνοιξαν προλάβετε !

Ασχολείται κανείς με την 4η εργασία? Έχει κανένας άλλος segmentation fault core (dumped) λάθη? Πως χρησιμοποιείται η cudamalloc? Με void pointers? Στα .cu αρχεία τι αξίζει? malloc ή new?

unsigned int*  unique_keys_starts = NULL;
cudamalloc((void**)&unique_keys_starts, sizeof(unsigned int)* nUniqueKeys);

Π.χ αυτό μοιάζει ύποπτο για segmentation fault?

Οτιδήποτε έχει σχέση με pointers (ειδικα ως ορισματα σε functions) είναι ύποπτα για segmentation fault

typedef void* KernelPointer;

template <typename T>
int numCTAs (T kernel)
{
         return get NumCTAs((KernelPointer)kernel);
}

enum kernelName
{
      //.............//
      SORT_KERNEL_COUNT
};

int numCTAs[SORT_KERNEL_COUNT] = { 0,0,0,0,0,0};

......................
error: declaration is incompatible with function template "int numCTAs(T)"

Καμιά ιδέα κανείς?

Την τρίτη εργασία είμαστε πολλοί ακόμα που τη χρωστάμε?

Σίγουρα 4 άτομα ξέρω εγώ ν την χρωσταμε XD :D

Βγήκε η βαθμολογία της πρώτης στο ethmmy

second's up too

wtf ήταν και σε ομάδες ?  :o

και η 3η. Well κανονικά ομάδες δεν είχε αλλά φαντάζομαι "προέκυψαν".

Έχει τρέξει κανείς cuda στο pc του???όταν την τρέχω μου πετάει μαυρη οθόνη.....τι φαση?

Γιατί δεν ζητάς πρόσβαση στο διάδη;

Μαύρη οθόνη ακούγεται σα να μην έκατσε καλά κάποιος driver. Έχεις ελέγξει αν η κάρτα σου υποστηρίζει cuda;

Υποστηριζει cuda ... δεν ειναι αυτο το πρόβλημα...γενικα που το ψαχνω εδώ κ λίγες μερες εχουν και αλλοι αυτο το προβλημα αλλα δεν βγαζω ακρη με τις "λυσεις" και καλα π δίνουν...για αυτό και το πόσταρα εδώ μπας και καποιος έχει παρομοιο προβλημα και μπορει να βοηθησει...

Βαθμολογία 4ης Εργασίας Σεπτεμβρίου.
8 Νοε 2014 12:12 μμ
Σισμάνης

[...]

Βαθμολογία 3ης Εργασίας Σεπτεμβρίου.
8 Νοε 2014 11:57 πμ
Σισμάνης

[...]

Βαθμολογία Σεπτεμβρίου
8 Νοε 2014 12:14 μμ
Σισμάνης

Για  απορίες  στη  βαθμολογία  των  εργασιών  του  Σεπτεμβρίου,  Δευτέρα  10/11  στο  εργαστήριο  ΑΥ.

Το εργαστήριο ΑΥ που βρίσκεται;

Στο κτήριο της βεργίνας, αλλα πας απο τα αριστερα αντι να πας δεξια, εκει ειναι και το εργαστηριο για τα Μικρο.

Οκ,  ευχαριστώ!