THMMY.gr

Στην εργασία θέλει να ταξινομήσουμε τα στοιχεία 2^p πινάκων ή να ταξινομήσουμε έναν τελικό πίνακα με 2^(p+q) στοιχεία?

Πατας ls -a και δεν στο βγαζει?

ε στο folder σου εννοω ναι τι λαθη βγαζει?

mpicc -O3 mpi-hello.c -o hello
mpirun -np 4 hello        (-np 4 οριζει ποσα processes θα το τρεξει, στην προκειμενη 4)


Μην κανεις make ... χωρις να ειμαι σιγουρος για το makefile θελει να ορισεις και hostnames
δηλ. που θα τρεξουν τα processes και δεν χρειαζεται ... γι' αυτο εχουμε hellasgrid

Το μαστερ θρεντ το μετράμε στον αριθμό των νημάτων; Αν ναι τοτε μετα το μοιρασμα στα slaves πρεπει να συμμετέχει ενεργά σε όλη τη διαδικασία! Και μάλιστα να πάρει απο τον εαυτό του κομμάτι του πίνακα με στοιχεία;

http://pdplab.it.uom.gr/teaching/llnl-gr/Message%20Passing%20Interface%20%28MPI%29.htm

Ελληνική έκδοση MPI  ;)

Στην εκφώνηση γράφει:"Επιλέξτε την αναδρομική ή επαναληπτική έκδοση του αλγορίθμου"
Υλοποιούμε όποια θέλουμε;

κάτσε ρε δνε κάνουμε και τις δύο;

κάτσε ρε δνε κάνουμε και τις δύο;

είσαι σίγουρος για αυτό γιανκο δράκο;

Ερώτηση: πως ανέβασες το αρχείο στην αφροδίτη και το έτρεξες; με ποιές εντολές;

Στο email που σου στάλθηκε αν δεις έχει links με αναλυτικές οδηγίες για job submission ή ότι άλλο μπορεί να χρειαστείς.

Ναι, συνδέομαι στον server αλλά από εκεί και μετά δεν κατάλαβα πως ανεβάζω και τρέχω το εκτελέσιμο

**με Terminal

To sort του εκάστοτε merged πίνακα θα  γίνεται από τις διεργασίες που συνεισφέρανε στο merge ή μόνο από τη μία (θα σκοτώνουμε δηλαδή);

Η τοπική μνήμη για μια διεργασία δε θα χωράει περισσότερα από 2Ν στοιχεία, Ν τα τοπικά και Ν αυτά που θα πάρει από τον “συνέταιρο” Ο πίνακας θα είναι πάντα τόσο μεγάλος που δε θα χωράει ποτέ σε μία διεργασία. Η άσκηση είναι να κάνετε διάταξη σε πίνακες που δεν χωράνε σε ένα υπολογιστή..

το νοημα ειναι να στελνεις στοιχεια των πινακων απο την μια διεργασια στην αλλη, να γινεται μια ανταλλαγη δηλαδη, να παιρνει πχ η μια διεργασια τα μεγαλυτερα των δυο και η αλλη τα μικροτερα, οποτε σιγα σιγα να γινεται η ταξινομηση.

εδω εχει μια ωραια υλοποιηση, που την εξηγει καλα http://www.cs.rutgers.edu/~venugopa/parallel_summer2012/mpi_bitonic.html
τωρα πως θα υλοποιηθει αυτο απο την αρχη, δεν ξερω :P
(υποψιν οτι στο λινκ λειπει ο μισος κωδικας, μαλλον κατα λαθος δειχνει δυο φορες το ιδιο πραγμα... oh well....)

Πότε δηλαδή αναμένεται να εκτελεστεί;

Ναι αυτό είναι το script δοκιμαστικό το έκανα. Αυτό δεν μου δίνει 8 πυρήνες άρα 8 διεργασίες που φτιάχνουν από ένα πίνακα;

Και κάτι άλλο, αν έχω βάλει να παίρνει ορίσματα(δηλαδή να το δίνω το q για το 2^q ) πρέπει να βάλω mybitonicsort 4 π.χ για q=4;

Για να τρέξω τον κώδικα στο grid τί modules πρέπει να έχω κάνει load;Προσπαθώ να τρέξω τα παραδείγματα από το git repository που έχει στο ethmmy και έχω κάνει load τα intel και mpich2, αλλά τα makefiles δεν τρέχουν. Από ότι κατάλαβα για να χρησιμοποιήσω το intel θέλει κάποια άδεια, που δεν έχω. Συγκεκριμένα μου βγάζει mpic++ -O0 mm.cpp -o mm

Error: A license for CCompL could not be obtained (-1,359,2).

Is your license file in the right location and readable?
The location of your license file should be specified via
the $INTEL_LICENSE_FILE environment variable.

Πώς τα τρέξατε εσείς;

Κάνε compile το MPI πρόγραμμα σου (με mpicc), και έπειτα κάνε qsub XXX.sh όπου XXX.sh ένα script (στον ίδιο φάκελο με το compiled πρόγραμμα) με κώδικα ίδιο με αυτόν που έγραψε παραπάνω ο dimi93gr (απλά άλλαξε το "mybitonicsort" στο όνομα του δικού σου compiled αρχείου).

     

Αα ανεβάζω έτοιμο το executable... (ελπίζω να βγω από το queue πριν την λήξη της προθεσμίας)Από ότι κατάλαβα από το wiki  για να γίνει η εκτέλεση με παραμετρικές εισόδους χρειάζεται ένα αρχείο .jdl, δεν αρκεί το .sh .Το πρώτο βήμα είναι η δημιουργία  proxy και θέλει να δηλώσουμε σε ποιο VO ανήκουμε.Εμείς ανήκουμε κάπου ή πρέπει να εγγραφούμε(στο SEE ας πούμε).

Μπορεί να μου πει κάποιος πως ακριβώς τρέχω το πρόγραμμα στον hellagrid? Ολα τα βήματα απο το μηδέν.

Πρέπει το κάθε thread να κάνει sort το δικό του πίνακα με Ν=2^q στοιχεία και μετά όλα μαζί μεταξύ τους  ή  το main thread να δημιουργεί έναν πίνακα Ν στοιχείων και τα επιμέρους threads να μοιράζονται και να ταξινομούν αυτόν τον πίνακα?

Απορια. Κανω το qsub xxx.sh. Tο αρχειο εκτελειται αλλα πως βλεπω τα αποτελεσματα; Απλα τρεχει και βγαινει(το βλεπω απο το qstat). Tο αρχειο δεν εχει προβλημα αφου το τρεξα και στον διαδη με mpirun και κανω και το compile me mpicc.
Δηλαδη: α) πρωτα κανω compile mpicc xxxx.c - o xxx
              β) qsub xxxx.sh
              γ) ;;;;;;;

Μετα το qsub τι πρεπει να γραψω για να εμφανιστουν τα αποτελεσματα (δοκιμασα και το παραδειγμα mm που εχει το gitlab και παλι το ιδιο).

Στο Pdf λέει ότι πρέπει κάθε διεργασία να δημιουργεί τον δικό της πίνακα με 2^q στοιχεία. Άρα είναι το πρωτο και όχι το 2ο.

Για το hellasgrid πρέπει να κάνω λογαριασμό όπως λέει? Με αστυνομικές ταυτότητες κτλπ?

Στο Pdf λέει ότι πρέπει κάθε διεργασία να δημιουργεί τον δικό της πίνακα με 2^q στοιχεία. Άρα είναι το πρωτο και όχι το 2ο.

Παιδιά έχει καταφέρει να τρέξει κανείς το πρόγραμμά του στο hellasgrid με 8 nodes και πάνω (περιμένω πάνω απο μια μέρα)?  Η μας trollarei ο Πιτσιάνης?

Αν κατάλαβα καλά απο την εκφώνηση δεν λέει να κάνουμε μετρήσεις μέχρι 128 Nodes?

Σας έχει εκτελεστεί κάτι, αν ρίξατε, από χθες ή μόνο τα δικά μου περιμένουν;

Μήπως βλέπετε κάποιο συντακτικό λάθος;; Μου βγάζει  export: `1': not a valid identifier
 export: `2': not a valid identifier.....  και τα αρχεία results.* δημιουργούνται αλλά είναι κενά
#PBS -q auth
#PBS -N  bitonic2
#PBS -j oe
#PBS -l nodes=2:ppn=1
procs=2
cd $PBS_O_WORKDIR
export NP=$(cat $PBS_NODEFILE |wc -l)

export I2G_MPI_TYPE=mpich2
for arg in 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
do
     export I2G_MPI_APPLICATION=bitonic_worker $arg >results.$arg$procs

done
$I2G_MPI_START

Ρε παιδια σας εχει τρεξει τιποτα απο Παρασκευη με το script που αναφερεται παραπανω; Μονο εγω περιμενω η ειναι γενικο; Αν ειναι γενικο το προβλημα εχει επικοινωνησει κανεις με Πιτσιανη;

Μπορεί κάποιος να ανεβάσει τις οδηγίες για το hellas grid γιατί εμένα δεν μου ήρθε μαιλ ακομα??

Κανε ls αφου εχεις κανει cd $SCRATCHDIR να δεις αν σου βγαλε το txt με τα αποτελεσματα.

Εμενα μου βγαζει queue full σε καθε qsub εδω και 3 ωρες περιπου.


http://pastebin.com/vN51Wgdj

Παταω qstat και τα βλεπω ακομα σε κατασταση Q γι αυτο ρωταω.Επισης  για ιδιες εισοδους στο diades πηρα κατι msec και στο grid 300 sec.

Μπορεί κάποιος να ανεβάσει τις οδηγίες για το hellas grid γιατί εμένα δεν μου ήρθε μαιλ ακομα??

Ερωτηση: για τον τελικο πινακα, αρκει μια global μεταβλητη *Ν; Η θέλει καμιά τρελή καγκουριά που δε φανταζομαι; ::)

Μπορεί να δώσει κανείς αναλυτικές οδηγίες για το πως να τρέξουμε MPI στον διαδη;

Σχετικά με το δεγκριντ, έχω συνδεθεί κανονικά και αλλάξει το πασσ μου όπως υποδυκνείει στο ημαιλ που μας στείλανε, αλλά δεν μπορώ να βρώ πουθενά οδηγίες για το πως μεταφέρω τα αρχεία μου εκεί και πως τα τρέχω. Φαντάζομαι ότι μια εντολή scp από το command line όπως και στο διάδη θα είναι αλλά δεν μπορώ να βρω τη σύνταξή της. Επίσης το δεγκριντ έχει επανέλθει, δηλαδή λειτουργεί κανονικά πλέον??

στις οδηγίες που δίνει το ημαιλ λέει για τη μεταφορά αρχείων από και προς το server για Linux δείτε εδώ, και το εδώ γράφει απλά χρησιμοποιούμε τις εντολές scp από το terminal...

Παιδια, τωρα που θα τρεξουμε το προγραμμα στον διαδη(μπειτε ethmmy αν δεν ειδατε την ανακοινωση) εχει νοημα να κανουμε συγκριση με τον σειριακο;

Εννοείς ότι μπορεί να έχεις πιο αργά αποτελέσματα? Δεδομένου ότι έχει μπόλικους πυρήνες και άρα μπορεί να τρέχει αρκετά processes ταυτόχρονα, νομίζω θα είναι πιο γρήγορο από τον σειριακό, αλλά όχι τόσο όσο στο grid.

Καλησπέρα,

Παρατηρήσαμε ότι ένας αριθμός εργασιών που έχουν υποβληθεί στην υποδομή
του HellasGrid, ορίζουν απαιτήσεις σε πόρους, οι οποίες είναι δύσκολο ή
αδύνατο να ικανοποιηθούν από το σύστημα.

Παρακαλώ, σημειώστε τα εξής:

Ο αριθμός των nodes δεν θα πρέπει να υπερβαίνει τα 4.

Για κάθε “p”, θα μπορούσατε να υποβάλετε μία διαφορετική εργασία, καθώς
κάθε μία θα πρέπει να δεσμεύει διαφορετικό αριθμό processors.

Για 2^q random integers και q=[16:20], μπορείτε να υποβάλετε μία εργασία
χρησιμοποιώντας ένα από τα PBS commands που μπορείτε να βρείτε στο τέλος
αυτού του μηνύματος, για τον ορισμό των nodes και των processors per
node που θα χρησιμοποιούνται από την κάθε εργασία.

Εργασίες που δεν έχουν υποβληθεί ακολουθώντας την παραπάνω λογική, θα
μπορούσαν να ακυρωθούν (με την χρήση της εντολής “qdel” για τα
αντίστοιχα Job IDs) και να υποβληθούν εκ νέου, αφού εφαρμοσθούν οι
απαραίτητες τροποποιήσεις.


Μπορείτε να βρείτε συνημμένο το script submit.sh, το οποίο μπορεί να σας
φανεί χρήσιμο για την υποβολή των εργασιών σας.

Σημειώστε ότι έχουμε θεωρήσει ότι το εκτελέσιμο αρχείο σας ονομάζεται
bitonic.
Για να χρησιμοποιήσετε το συνημμένο script, θα χρειαστεί ενδεχομένως να
τροποποιήσετε τον κώδικά σας, ώστε να δέχεται την τιμή του “q” ως argument.

Για οποιαδήποτε απορία, πρόβλημα ή πρόταση μη διστάσετε να
επικοινωνήσετε μαζί μας στο scientific-computing@auth.gr .

Σας ευχόμαστε Καλά Χριστούγεννα!


Εκ μέρους του Γραφείου Επιστημονικών Υπολογιστικών Υπηρεσιών, ΚΗΔ ΑΠΘ,
Αλεξάνδρα Χαραλαμπίδου

Αυτό το email το στείλανε σε όλους; Εγώ δεν έχω χρησιμοποιήσει τον hellas grid ακομα. Για λιγότερα από 8 nodes μπορουμε να κάνουμε και στον διάδη μετρήσεις άμα είμαστε μόνοι....

αρα τι παιζει; που θα κανουμε τις μετρησεις αμα στον χελλας δεν μπουρουμε να κανουμε πανω απο 4 νοντς;

να ρωτήσω κάτι? όταν γίνεται το initialize κάθε διεργασία πρέπει να έχει διαφορετικά στοιχεία  από τις άλλες ή οχι :-\
Εμένα όλες αρχικοποιούν τα ίδια σημεία...

να ρωτήσω κάτι? όταν γίνεται το initialize κάθε διεργασία πρέπει να έχει διαφορετικά στοιχεία  από τις άλλες ή οχι :-\
Εμένα όλες αρχικοποιούν τα ίδια σημεία...

Αρχικοποίησες το seed της rand ?

Αρχικοποίησες το seed της rand ?

ναι αλλα έχω ίδια νουμερα και σε κάθε διεργασία και κάθε φορά που εκτελώ το προγραμμα...

Μάλλον τότε κάθε διεργασία έχει το ίδιο seed. Δοκίμασε κάτι σαν time(NULL)+numTasks*taskID για seed. Αν όλες οι διεργασίες έχουν το ίδιο seed ή πολύ κοντινά, πολύ πιθανό να έχουν πολύ παρόμοιους αριθμούς.

Καλησπέρα

έχω το εξής πρόβλημα: όταν τρέχω τον κώδικα μου στο διαδη για 2^9 στοιχεία ο χρόνος είναι αψογος, ενώ για 2^10 δεν καταφερνει να βγαλει ποτέ χρόνο

Έχω επιλέξει να δημιουργήσω μια υλοποίηση που στέλνει επιλεγμένα στοιχεία από κάθε πίνακα και όχι όλο τον πίνακα

όταν τροποποιώ την υλοποίηση ώστε να στέλνει όλο τον πίνακα ποια τρέχει με χειρότερο χρόνο για 2^9 απ ότι πριν, ΑΛΛΑ βγάζει αποτέλεσμα για 2^10..

Καμιά ιδέα??

Λες ότι δεν καταφέρνει να βγάλει χρόνο. Δοκίμασες (με prints, κλπ) να δεις που κολλάει; Μήπως κάνει κάποιο infinite loop ή κάτι σχετικό;

Επίσης, υπάρχει η οποιαδήποτε περίπτωση να έχεις χρησιμοποιήσει αυτόν (https://github.com/adrianlee/mpi-bitonic-sort)τον έτοιμο κώδικα;

Δεν έχω χρησιμοποιήσει το συγκεκριμένο κώδικα όχι άλλα κινούμαι σε μια λογική μέγιστο-ελάχιστο και αποστολές σύμφωνα με αυτά

Δοκιμάζω τώρα διαφορα prints να δουμε:)

Έχω στείλει την εργασία εδώ και μέρες, αλλά μου ήρθε μια άκυρη ερώτηση:
Αφότου ο πίνακας ειναι ταξινομημένος στο κάθε task, θα τον φέρουμε τον μαστερ τασκ έτσι; Το test θα μπορούσε να γίνει και από πολλά tasks, απλά μου φαίνεται περίεργο να μην φέρουμε τον πίνακα σε έναν υπολογιστή για αποθήκευση/εκτύπωση....

Μπορεις να στελνεις τα τελευταια στοιχεια απο καθε διεργασια στον μαστερ, και να δεις εκει μετα αν εχεις ταξινομημενα δεδομενα. Αν παλι θες να τα πας στον μαστερ, απλα μη χρονομετρας τη μεταφορα τους και το τεστ για να σαι κομπλε.

Ναι, αυτο κανω, κομπλε βγαίνει ο χρόνος(μετραω όμως και τη μεταφορά από τα τασκ στον μαστερ, μονο το τεστ δεν μετραω). Απλά έχει αναφερθεί ότι κάθε τασκ έχει μόνο 2Ν στοιχεία, γι'αυτο ρωτησα. Οντως στο προγραμμα μου 2Ν εχει το καθε ενα για την ταξινομηση. Μετα όμως δεν πειράζει να τα στειλω ολα σε ενα ε;

^οποτε κουλ για τον τροπο που γινεται ο ελεγχος, ε; 8))

^οποτε κουλ για τον τροπο που γινεται ο ελεγχος, ε; 8))

Δες αυτον τον (ημιτελη, περιεργο) κωδικα https://github.com/adrianlee/mpi-bitonic-sort/blob/master/bitonic.c

γεια σας και απο μενα τον αργοπορημενο..
στην αφροδιτη (grid) τρεχει exe η linux executable? η και τα 2?