THMMY.gr

Βγήκε η δεύτερη εργασία σε mpi στο ethmmy

Με μια πρώτη ανάγνωση...                     δεν κατάλαβα Χριστό

Πόσα μαθήματα έχει κάνει για mpi? Πάνω από μισό?

Την τελευταία φορά, περίπου 20 λεπτά πριν τελειώσουμε μας είπε:
και τώρα θα δείτε την πιο γρήγορη διάλεξη που έχετε δει για MPI στη ζωή σας :)

edit: επιφυλάσσομαι για το 20. Μπορεί να ήταν και λιγότερα

Πωωωωως ελα τωρα ψευδεσαι!!!!

Ολοκληρο το προπροηγουμενο μαθημα με τους μεταπτυχιακους γι αυτα ηταν, θα επρεπε να τα ξερεις φαρσι μεχρι τωρα... :P :P
Βασικα και για τα pthreads κ την OpenMP κ που ειπαμε μερικα πραγματα στην ταξη, οταν κατσαμε (εγω τουλαχιστον) μονοι μας να τα δουμε καταλαβαμε τι παιζει..

Πρεπει να το παρουμε χαμπαρι, σε αυτο το μαθημα μονοι μας οριζουμε την υλη, μονοι μας διαβαζουμε, μονοι μας κανουμε τις εργασιες, απαξιουμε και να κανουμε εξετασεις!!! Μονο τον τελικο βαθμο δε βαζουμε μονοι μας( να παρει)  :P :P :P

Αντε και για να μην κουραζεστε στο ψαξιμο
οριστε η λυση(πανω - κατω) της εργασιας σας: Kmeans-MPI (http://users.eecs.northwestern.edu/~wkliao/Kmeans/index.html)

Μια ερώτηση σχετικά με το zip αρχείο του Πιτσιάνη. Ο σειριακός κωδικας ποιος είναι; Ο kmeans.c ή ο kmeansTest.c? Υποθέτω το 2ο καθώς αυτό περιλαμβάνει τη main. Το πρώτο τι είναι;

up up up!

Thank you kind sir  ^super^

Μολις μπηκα σπιτι, 8α τα κατεβασω και θα δω τι παιζει

εν τω μεταξυ αμα δει και καποιος αλλος μας λεει ... ;)

Στο αρχείο kmeans.c απ' όσο βλέπω με μια πρώτη ματιά είναι οι απαραίτητες ρουτίνες για να βρίσκεις kmeans. Εμεις αυτές τις ρουτίνες θα παραλληλοποιήσουμε.

Το kmeanstest.c υπάρχει για να γίνει ένα test του αλγορίθμου. Το Makefile περιλαμβάνει όλες τις compiler εντολές για να χρησιμοποιήσει το kmeans.c και τα header files σε συνδυασμό με το kmeanstest.c για να φτιάξει ένα εκτελέσιμο. Μην μπερδεύεσαι δλδ ;)


με ένα
είσαι έτοιμος.

Δηλαδή το kmeanstest δν το πειράζουμε καθόλου;

Αν δεις η cluster() στο kmeans.c εκτελεί την όλη διαδικασία (δεν ξέρω πως ακόμα :P). Το kmeanstest.c πέρα από τη main έχει functions για initializing, clean και τέτοια διαδικαστικά. Δεν έχει να κάνει με παραλληλισμό δλδ, με την εργασία αυτή καθ' αυτή. Αν δε σε βολεύουν μπορείς να τα αλλάξεις/σβήσεις φυσικά φυσικά.

θελω να πιστευω οτι αφου κανουμε compile τρεχοντας

./kmeans 1000000 32 12 παιρνουμε του pcιου μας το μονοπυρηνο ετσι??

δεν τα βαζω με λαθος σειρα?......?

Παιδιά έχετε καταλάβει πώς δουλεύει ο σειριακός κώδικας του Πιτσιάνη;  :(

Θα μπορούσε ο άνθρωπος τουλάχιστον να έχει μερικά παραπάνω σχόλια στον κώδικά του.

Δλδ δεν από τα σημαντικά τπτ δεν εξηγεί. Και δεν τον έχουμε κάνει καν τον αλγόριθμο.

Ελπίζω να εξηγήσει τη Τετάρτη γτ δεν κατάλαβα ούτε εγώ...

ελα παμε λιγο δυνατα και διαβαζουμε το wikipedia link που μας δωσανε

γραφτε σε χαρτακι τι κανουνε οι δομες και τα στοιχεια και βγαινει , το 1 ειναι βιβλιοθηκη

το 2 ξεκιναει με prototypes και ολη κιολη η main ειναι 15 γραμμες

Ε δε πάει έτσι ρε arashi
Όταν αυτός μιλάει για δεοντολογία και reports και δε συμμαζεύεται, πρεπει να δίνει και το καλό παραδειγμα  :P

Ωπα δεν το εννοω υποτιμητικα, εννοω οτι ειναι δυσκολο με ενα ματι

αλλα αμα το "διαβασεις" βγαινει σχετικα ευκολα ρε παιδια

Μάγκες, τι κάνατε για να τρέξετε mpi? Καταφέρατε σε cygwin να το εγκαταστήσετε το MPICH? Γενικά what the hell κάνατε?

ubuntu εγκατασταση σε εξωτερικό σκληρό δίσκο, με τον bootloader στο δισκο

και λυνεις ολα τα προβληματα σου :P

Σε ubuntu γίνεται εγκατάσταση με
sudo apt-get install mpich2

Σε cygwin βρήκα τρόπο αλλά είναι κάπως χρονοβόρος. Το καλό είναι ότι χρειάζεται να το κάνεις μια φορά και δουλεύει. (Σε μένα δούλεψε πάντως  :P)

1) Κατεβάζεις το source MPICH2 Source (UNIX and Windows)
http://www.mcs.anl.gov/research/projects/mpich2/downloads/index.php?s=downloads

2) Bάζεις το αρχείο που κατέβηκε στο φάκελο /home/YOURNAME

α) κάνεις unzip με τις εντολές
gunzip mpich2-1.3.1.tar.gz
tar xvf mpich2-1.3.1.tar

β) πηγαίνεις στο φάκελο που δημιουργήθηκε και τρέχεις

./configure  

και μετά

make

Οι δυο παραπάνω εντολές θα κάνουν πολύ ώρα να ολοκληρωθούν. Στο ./configure υπάρχει περίπτωση να βγάλει κάποιο error σχετικά με τη Fortran ( λογικά αν δεν έχει εγκατασταθεί )
Τότε πρέπει να προσθέσεις στο τέλος 2 παραμέτρους κάπως έτσι

./configure --disable-f77 --disable-fc

Δεν είμαι σίγουρος για τις παραμέτρους, αλλά έτσι και αλλιώς τις αναφέρει στο error


3) Πρέπει να αλλάξεις τη μεταβλητή PATH ώστε να βλέπει  στο bin που εγκατέστησες

Για να γίνει αυτό πας C:\Cygwin\etc  και ανοίγεις το αρχείο profile και προσθέτεις στη μεταβλητή PATH το path του bin που είναι
/home/YOURNAME/mpich2-1.3.1/bin

PATH=/home/YOURNAME/mpich2-1.3.1/bin:/usr/local/bin:/usr/bin:/bin:$PATH


---------------------------------------------
απότι κατάλαβα για να κάνεις compile γράφεις
mpicc arxeio.c -o arxeio

και για να τρέξεις γράφεις

mpirun -np 10 ./arxeio, αν θέλεις 10 processes

Γενικα θυμαμαι οτι ειχα παιδευτει πολυ ωστε να τρεξω MPI σε Windows... οποτε η αρχικη προταση ειναι Linux...

απο εκει και περα... αν ντε και καλα θελει καποιος Windows μπορει να τρεξει MPI με διαφορους τροπους
εγω ειχα καταφερει και με compiler τον Visual C++ 2005 και με τον gcc μεσω Cygwin...

Αυτα που λεει ο Emfanever μπορει να δουλευουν δεν ξερω... αλλα ειναι πολυς κοπος για το τπτ...
αυτο που με ειχε κουρασει εμενα ηταν η μεγαλη διαδικασια για τον Visual C++ και η ευρεση της εντολης για το gcc

Στο Cygwin λοιπον εφοσον πεταξετε στα καταλληλα Paths το Mpich(η διαδικασια περιγραφεται αναλυτικα στο net) μετα απο εκει και περα γραφετε...

Compile:

Run:

κατα 90% αυτα ειχα κανει μονο για να τρεξω σωστα MPI... (πρεπει να απενεργοποιηθει και το firewall των Windows i think)
επισης νομιζω πως το default installation του Cygwin δεν εχει τον mpicc...

Συμπερασμα
Σε home computer το MPI δεν πολυ εχει νοημα... οποτε μας ειχε πει οτι για να δουμε σοβαρα αποτελεσματα το ιδανικο ειναι να τρεξουμε το προγραμμα μας στο Hellas Grid (https://access.hellasgrid.gr/)... βεβαια αυτο ειναι μια μεγαλη διαδικασια για οποιον εχει κουραγιο...οποιος θελει ας το ψαξει... και αν βρει εμποδια εδω ειμαστε...

Ελπιζω να βοηθησα...(οι ινφοζ προεκυψαν μετα απο καψιμο στο google... treat them with respect:P)

Πιστευω κ εγω παντως οτι αμα απαιτουνται 1 σελιδα οδηγιες, live cd και αγιος ο θεος

Επειδή με ταλαιπώρησε και σε ubuntu η εγκατάσταση του MPI λέω να γράψω τον μάλλον βλακώδη τρόπο με τον οποιο την έκανα.

Πρώτα έφτιαξα στο Desktop ένα αρχείο ergasia2.
1.Στη κονσόλα sudo apt-get install mpich2
2.Αυτά που γραφει το αρχείο README-MPI.txt που έχει δώσει ο πιτσιάνης.
3.Στη κονσόλα:
cd /usr/share  --->εδώ μέσα βρίσκεται η εγκατάσταση του mpich2.
sudo mv mpich2 /home/όνομα_χρηστη/Desktop/ergasia2
sudo apt-get remove mpich2
sudo apt-get install mpich2
4.Ότι αρχείο θέλω να τρέξω το βάζω μέσα στο ergasia2
5.Πριν τρέξω κάποιο αρχείο στη κονσόλα:
mpd &

Προσοχή λέω τι λειτούργησε σε εμενα.
Είμαι σχεδόν σίγουρος ότι υπάρχει πιο εύκολος τρόπος απλά έτυχε να μου πετύχει αυτός!

to mpich2 prepei na to kanoume move sto fakelo pou exoume ta arxeia?

Γιατί προτιμάτε όλοι το mpich2?  :???:

Τι άλλη επιλογή έχουμε δηλαδή; :???:

openmpi

aye

Μα στο ethmmy έλεγε το MPICH2 το κατεβάζετε από.... Αμα μας επιτρέπει openmpi noproblem

Χμμ δεν το 'χα δει. Είχε αναφερθεί πάντως στο OpenMPI στο μάθημα. Σε αντίθεση με το mpich2, υπήρχε έτοιμο "επίσημο" πακέτο στη διανομή μου, οπότε το προτίμησα.

Πάντως, και τα δύο υποστηρίζουν windows. Δεν είναι απαραίτητο να προσπαθείτε με cygwin. Απ' όσο έχω δει ο κώδικας του kmeans είναι portable (δε χρησιμοποιεί υπηρεσίες unix λειτουργικού), οπότε ο cygwin είναι περιττός.

Μπορει καποιος να εξηγησει πως τρεχουμε mpi σε ubuntu,πως χρησιμοποιουμε δηλαδη την mpich κλπ κλπ...

πρωτα πρέπει να σιγουρευτείς ότι εχεις καποια mpi μεσα

αν γραψεις απλως mpirun και την εχεις, θα σου πει ότι δεν συνεταξες σωστά την εντολή
αν δεν την εχεις, τότε θα σου προτείνει το ίδιο να κανεις εγκατασταση ενα απο τα πακετα που προσφέρουν mpi

με sudo apt-get mpich2-1.3.1 βαζεις την mpich

από κει και πέρα χρησιμοποιείς το mpicc για να κανεις compile τον κωδικα σου (οπως εκανες πριν με το gcc)
και mpirun για να το τρεξεις. Στο mpirun πρεπει να βαλεις flag -np X όπου X ο αριθμός των διεργασιών που θα προσομοιώνουν τα MPI συστήματα

 :)

Μπορεί κάποιος να μου εξηγήσει τι ακριβώς γίνεται μεσα στο όρισμα της euclidean_distance?? ποια διανύσματα μεταφέρονται τελικα?? κολλάω στο οτι προσθέτει έναν pointer με εναν αριθμό... μετακινεί τη θέση του pointer για να κινηθεί μεσα στον πίνακα?? ή κατι αλλο?  :-\ :-\

void kmeans_process(  ...  ){
 . . .

  for(i=0; i<data_in->secondary_dim; i++){
    tmp_dist = 0;
    tmp_index = 0;
    min_dist = FLT_MAX;
    /*find nearest center*/
    for(k=0; k<clusters->secondary_dim; k++){
      tmp_dist = euclidean_distance(dataset+i*data_in->leading_dim, centroids+k*clusters->leading_dim, data_in->leading_dim);
      if(tmp_dist<min_dist){
   min_dist = tmp_dist;
   tmp_index = k;
      }
    }
   
    . . .

Ο dataset περιεχει τις συντεταγμένες των δεδομένων σου και ο centroid τις συντεταγμένες των κέντρων. Ο πρώτος πίνακας έχει μέγεθος numobjects*numattributes και ο 2ος numclusters*numattributes. Η συνάρτηση παίρνει ως όρισμα την διεύθυνση του πρώτου στοιχείου του dataset, τη διεύθυνση του πρώτου στοιχείου του centroids και το μέγεθος του διανυσματος. Με το να προσθέτει στους pointers ουσιαστικά πηγαίνει στο επόμενο στοιχείο του πίνακα.

thx! κάτι τέτοιο ψιλιάστηκα!!

την εντολη mpicc θα την χρησιμοποιησουμε στο make file?

Ναι αντικαθιστάς την gcc me mpicc

μετα απο αυτη την αλλαγη θα πρεπει να τρεχει?
βασικα εμενα δεν μου τρεχει ουτε το αρχειο οπως το κατεβαζω απο το e-thmmy.

Ναι εφόσον έχεις εγκαταστήσει σωστά τo MPICH2,

και το mpicc kai mpirun είναι στο PATH σου,

δηλαδή αν από terminal γράψεις mpicc και δεν σου βγάλει ότι δεν καταλαβαίνει ποια είναι αυτή η εντολή,

τότε αλλάζοντας το στο makefile  το gcc με mpicc δώσεις στο φάκελο την εντολή make , μετά το τρέχεις με ./kmeansTest

Παιδια μπορει να πει κανεις με ποια σειρα βαζουμε τα ορισματα στο τελικο compile? Βασικα το flag -np το βαζουμε πρωτο και μετα τα υπολοιπα (αριθμος στοιχειων, διαστασεις,clusters) ή το αντιθετο;

mpirun -np X ./kmeans XXXXX XX XX


όπως βλέπεις, η σειρά ειναι αυτη που ειπες  ;)

οκ το πιασα!!!! Thnx Alex!!!!  :)

Μια ερώτηση σχετικά με το matlab. Εκανα import_data με τιμές 1000000 2 12 και μου εβγαλε τα κέντρα και το size του κάθε cluster. Επειδή δεν κατέχω από ματλαμπ γίνεται να μου πει κάποιος πως θα τα απεικονίσω αυτά όπως εκάνε και αυτός στο τελευταίο μάθημα;

νομιζω ειχε κανει import τα αρχεια και μετα plot. Αλλα δε θυμαμαι ακριβως τη συνταξη...

Αν γράψεις
[dataset, index, centroid, sizes] = import_data(1000000,2,4)
σου φτιάχνει και τους 4 πίνακες.
Εδώ έχω 4 clusters και 2 διαστάσεις.

Μετά πρέπει να κάνεις plot μόνος σου με διαφορετικό χρώμα για κάθε ομάδα για να δεις αποτελέσματα.
Τον αλγόριθμο για αυτό δεν τον έδωσε (έτρεξε ένα script που είχε έτοιμο στο laptop του) αλλά αν πάρεις ένα ένα τα στοιχεία τότε μπορείς να κάνεις το plot κάπως έτσι:

for i = 1:1000000
   x = dataset(i,1);
   y = dataset(i,2);
   if index(i) == 0 
       plot(x, y, 'b');
   elseif index(i) == 1
       plot(x, y, 'r');
   elseif index(i) == 2
       plot(x, y, 'g')
   elseif index(i) == 3
       plot(x, y, 'y');
   end
   hold on;
end

Αυτό δούλεψε σε εμένα αλλά αργεί πάρα πολύ. Με 1Μ στοιχεία συνήθως κολάει αλλά για 100000 βγάζει αποτέλεσμα σε μισό με 1 λεπτό περίπου...
Θα πρέπει να δεις 4 σχεδόν συμπαγή τετράγωνα.

παιδια να ρωτησω η προσομοιωση με πανω απο 2 επεξεργαστες σας τρεχει κανονικα? Ειμαι σε debug mode και οταν βαζω printf να μου τυπωσει τα στοιχεια του καθε processor για np=1 και 2 μου τρεχει σωστα ενω για παραπανω κολλαει το προγραμμα... :(

εδιτ: ωπα ακυρο, εβαζα λαθος tag... :P

Θα δοθεί παράταση για την εργασία μέχρι την πρωτοχρονιά! Πιστεύω θα βγει ανακοίνωση και στο ετημμυ σύντομα.. Μίλησα με τ Πιτσιανη μέσω μειλ..

Αυτο ηθελα να ρωτησω,με προλαβες. Παλι καλα! Χριστουγεννιατικα να ασχολουμαστε με mpi δε λεει :P

otan trexw to programma kapoies diergasies eite kollane eite moy vgazei to eksis: (sorry gia ta greeklish..)

rank 2 in job 3  ubuntu_60193   caused collective abort of all ranks
  exit status of rank 2: killed by signal 9
rank 1 in job 3  ubuntu_60193   caused collective abort of all ranks
  exit status of rank 1: killed by signal 9

ti paei lathos? pws mporw na tis sygxronisw? exw tin aisthisi oti ftaine ta structs... antimetopise kapoios allos to idio provlima??

Την τελείωσε κανείς άλλος την εργασία να πει χρόνους??

Εμένα τους πιο γρήγορους χρόνους μου τους βγάζει για 7 processes και όχι για 8

στον διάδη μάλλον επειδή από πίσω τρέχει και ο deamon του MPI.

Το πιο γρήγορο που έχω μετρήσει είναι 3,35 secs.

:D

Για πρόβλημα 1000000, 32 διαστασεις και 12 clusters οι χρονοι μου ήταν
35.247
17.606
8.681
4.381
6.364
5.774
για 1 2 4 8 16 και 32 διεργασίες, πριν 3 ώρες, στο Διάδη

χμμ έπρεπε να κάνουμε να τρέχει για αριθμό από processes που είναι δύναμη του 2 ??

η οποιοδήποτε αριθμό έως 32??

Μέσα στο pdf με τις οδηγίες αναφέρει αυτες τις διακριτές τιμές

Βέβαια εγώ το έκανα να δουλεύει για οποιαδήποτε τιμή, just to be sure

Κατι τέτοια μου έβγαζε και εμένα και κολούσε σε ένα σημείο που έκανα χρήση της MPI_Waitany. Επίσης έλεγε "Invalid request" η "segmentation fault" στο Διάδη. Τελικά έκανα κάποιες αλλαγές στην MPI_Irecv που έιχα πιο πριν έτσι ώστε στο πίνακα που αποθηκεύονταν τα MPI_Requests να μη υπάρχουν κενά (πριν είχα κενό στη θέση του ιδίου process). Μετά έπεξε...

Μήπως κάνεις κάτι τέτοιο και εσύ?

Ειμαι αρκετα σιγουρος οτι στο συγκεκριμενο προβλημα

δεν μπορουμε να μιλαμε για απολυτο χρονο γιατι παιζει αρκετα η συνθηκη τερματισμου

πχ μπορει εγω και καποιος αλλος να βλεπουμε 4sec αλλα ο ενας να κανει 50 iterations και ο αλλος 10,

τραβηγμενο παραδειγμα αλλα καταλαβατε πιστευω τι λεω

Για τέτοιο μέγεθος προβλήματος νομίζω ότι είναι προφανές πως μιλάμε για εξάντληση όλων των επαναλήψεων

Νταξ τι να πω παιζει και η rand που θετει τα κεντρα και τι ...ποντιακα με το συμπαθειο κανει ο καθενας


γενικα αν το παρουμε ετσι με 1,000,000 32 12 ειμαι στα 4-5 sec το λοιπον για np-8




σιιιγουρα δεν σκοπευω να κανω καμια βελτιστοποιηση παραπανω, απλα το εχω βαρεθει, δουλευει σωστα

--επιβεβαιωμενα και τελος, παμε για αλλα   :D

Σε αυτο το μεγεθος δλδ 10^6/8 εγω τερματιζω για 21-22 επαναληψεις

 :o
για threshold 0.001 και με τον ίδιο αριθμό διαστάσεων και clusters?

Αν έχω καταλάβει σωστά το μέγεθος παραμένει 10^6 απλά μοιράζετε σε Ν αριθμό από processes

Δηλαδή ο αριθμός των επαναλήψεων στις οποίες τερματίζει το πρόγραμμα πρέπει να είναι κατά μέσο όρο οι ίδιος με

αυτόν του σειριακού προγράμματος, για ίδιο αριθμό στοιχείων διαστάσεων και clusters.

Και εμένα για 1000000x32 στοιχεία κάνει πάντα 50 επαναλήψεις...
Επίσης περιπου σταθερό μένει και το άθροισμα των αποστάσεων όταν τερματίζει (2,4 εκατομμύρια περίπου)...

Για λιγότερα τερματίζει πιο νωρίς αλλά δεν τηρήται σωστά το threshold=0.001
Ακόμα και στο σειριακό που έδωσε μπορέι να τερματίζει πχ στην 20η επανάληψη αλλά με διαφορά 0.005 ή 0.004... :-\

Γιαυτο ειπα εξαρχης οτι μπορει και οι δυο να κανουμε πχ 4 σεκ αλλα....

Ειρηνη ημιν λεμεεεε (και υμιν)  ;)

Παιδια να ρωτησω, μεσα στον τελικο χρονο περιλαμβανετε και το χρονο που κανει το αρχικο μοιρασμα (και το τελικο). Γιατι ετσι οπως ειναι γραμμενος ο κωδικας του Πιτς μετραει μονο το χρονο της cluster... :P

Μόνο το χρόνο του clustering
Υποθέτεις ότι το κάθε σύστημα έχει τα απαραίτητα δεδομένα για να κάνει τη δουλειά του και στην ουσια θες να μετρησεις το χρονο εκτελεσης του αλγοριθμου αυτου καθαυτου
Η μονη επιβάρυνση λόγω επικοινωνιων οφείλεται στην επικοινωνία όλοι με ολους

Εγώ δεν μετράω το αρχικό μοίρασμα των δεδομένων , το τελικό όμως το μετράω.

Με το σκεπτικό ότι αν το κεντρικό process δεν έχει τα αποτελέσματα δλδ τον πίνακα members του data_in

 δεν μπορείς να πεις ότι έχεις τελειώσει.

Ενα ποιντ το εχεις αλλα παλι, αν μαζεψεις τα αρχεια σε εναν (ρουτ) παλι χανεις το νοημα του μπι. Θεωρητικα ολα τα σημεια πουθενα δεν ειναι μαζεμενα και ο καθενας ξερει μονο για τα δικα του που βρισκονται.

Χμμμμ μπερδευτικα.... :-\

Χμμμ δεω ξερω. Καλύτερο θα ήταν να ρωτήσουμε τον Πιτσιάνη για σίγουρα.

MPI I/O

The purpose of MPI/IO is to provide high performance, portable, parallel I/O interface to high performance, portable, parallel MPI programs. Parallel I/O is not a daily bread. Although some supercomputer systems in the past offered parallel disk subsystems, e.g., the Connection Machine CM5 had a Scalable Disk Array, SDA, the Connection Machine CM2 had the Data Vault and IBM SP had PIOFS and today it has GPFS, communication with those peripherals was architecture and operating system dependent.
...
MPI/IO files are shared, i.e., multiple processes running on multiple CPUs can operate on a single MPI/IO file all at the same time. The file may be spread over the disk systems that belong to those CPUs or it may be spread over some other parallel disk system which can be accessed by the CPUs over parallel communication channels.
...

Υπάρχουν άλλα εργαλεία για το θέμα των δεδομένων. Πιστεύω ότι είναι αποδεκτό στα πλαίσια της εργασίας να θεωρήσουμε ότι τα δεδομένα με κάποιο τρόπο βρέθηκαν στους κόμβους MPI και με κάποιο τρόπο αυτα θα μαζευτούν κάπου.
Δλδ μπορεί να μη χρειάζεται καν να αποσταλούν τελικά δεδομένα (κοινό Ι/Ο αρχείο) ή να αποσταλούν από όλους σε κοινό χώρο σε μικρή απόσταση με ταχύτατο δίκτυο (και άρα χρόνος μετάδοσης αμελητέος)

Ειναι ακριβως αυτο που ειπε ο διδακτορικος στο μαθημα πριν τα χριστουγεννα

ποτε δεν θες να πανε ολα τα δεδομενα σε ενα μερος, για λογους ασφαλειας, κτλ κτλ

τωρα εμεις βεβαια κανουμε εξομοιωση , παντως σιγουρα μετραμε το χρονο του clustering μονο

αφου θελουμε να μετρησουμε ποσο πιο γρηγορα λυνεται το προβλημα και οχι αμα εχουμε γρηγορο δικτυο

Ωραια τοτε μονο το clustering μας ενδιαφερει ο χρονος του οποτε κλαιν!! :)

Να ρωτησω και κατι αλλο? Μη με βρισετε αλλα δεν μπορω να καταλαβω πως χρησιμοποιουμε τον Διαδη... :(
Δηλαδη μπαινω οκ, με λιγο απο δω απο κει αντεγραψα τα αρχεια αλλα οταν παω να το τρεξω μου πεταει ερρορ!! Παω να κανω deamon εκει αλλα δε μ'αφηνει γιατι δεν αναγνωριζει το mpd. Ακολουθω και τις οδηγιες που εδωσε ο Πιτς για το mpd παλι τζιφος...στον τελος θα τον καταστρεψω με φαινεται... :P
Α και πως αλλαζω το password μου να το βαλω αυτο που θελει ο Πιτς?
Αυτα τα ολιγα, εψαξα στα προηγουμενα ποστ και δεν βρηκα καπου να τα λεει ξεκαθαρα τι κανουμε οποτε σορρυ αν εχουν γραφτει αλλου :-[
Τι να κανουμε, τωρα ασχολουμε πρωτη φορα με ssh ειμαι n00b.. :P

Και γω που δε πολυασχολούμαι με unix συστήματα, δε το βρήκα ιδιαίτερα πολύπλοκο
Βάζεις το κώδικά σου και ενώ είσαι συνδεδεμένος, κάνεις κανονικά compile
Αν σου πετάξει σφάλματα θα οφείλεται στο κώδικα. Εμένα πχ δε μου έτρεχε, διόρθωσα τα warnings και αλλαξα λιγο τη λογική και έτρεξε. Αλλά σε αυτό έφταιγε η παλιά έκδοση του mpich2  :P

κανεις deamon κανονικα?? Γιατι εμενα κ εκει μου πετουσε ερρορ...

Εγώ ούτε με τους δαίμονες ασχολήθηκα, ούτε ευχέλαια έκανα, ούτε καν το σταυρο μου πριν το τρεξω  :D :P
Όσες φορες παραπονέθηκε ο Διάδης, ήταν μήνυμα από το ίδιο το MPI συστημα και είχα κανει μαμακία εγώ στο κώδικα  ::)

ps θεωρούνται δαίμονες ή διεργασίες? Γιατί δε βλέπω κάποιο fork να γινεται

Βαριεμαι πολυ  :D  να συνδεθω στο σερβερ και να τρεξω τον mpirun

και μετα να μπω σε αλλο παραθυρο και να δωσω top για να δω ποιος τρεχει τι

ωστε να μαθω αμα ειναι ενας απλος εξομοιωτης

(οπως υποπτευομαι, η εν πασει περιπτωσει οτι ετσι "παιζει" λοκαλι)

Ευελπιστω οτι θα μαθω απο καποιον αλλο... :o

θυμάται κάποιος ποιον debugger ειχε προτείνει ο πιτσιανης στο μάθημα?

gdb και ddd νομίζω.

ε όχι και εξομοιωτής πρόσεχε πως τα πετάς αυτά τα random :P

Γενικά ο orted είναι o (user) δαίμονας που ξεκινά με το mpirun και σταματά όταν τελειώσουν οι διεργασίες, εκτός και αν του πεις να 'ναι persistent. Αυτός αναλαμβάνει να ξεκινήσει τις διεργασίες, δηλαδή όλα τα απαραίτητα forks.

kala pate...

εγω οταν τρεχω mpi στον διαδη μου φαίνεται ότι δεν το τρεχει παράλληλα. Σαν να τρεχει τις διεργασιες σειριακα. Το εβγαλα αυτο το συμπερασμα τρεχοντας πιο απλό κώδικα από το kmeans. Τι παιζει?  :(

μήπως ξεχνάς να βάλεις την flag -np?

δλδ mpirun -np 4 ./~ για 4 διεργασιες

οχι τη βαζω αυτη τη σημαια.
Δεν βαζω στο mpicc μια σημαια -04 που βαζει ο Πιτσιάνης νομίζω αλλα δεν παιζει να ναι αυτο

Lol,  :Pμάλλον αυτό είναι. To Ο4 πρέπει να το βάλεις αλλιώς παίρνεις τραγικές ταχύτητες

lol εγω νομιζα αυτο ειναι μια πιπα!

thanks My name is...klp  :D :D

Σε αυτη την εργασια μπορει να γινει συνεργασια με αλλον? Το ρωταω γιατι στη προηγουμενη το διευκρινιζε στην εκφωνηση ενω σε αυτην δε το λεει καπου.

Γενικά είχε πει ότι μπορούμε αρκεί να μην είναι ο ίδιος "άλλος".

Βαθμοι εργασιας 2 στο ετημμυ :(