[Παράλληλα και Διανεμημένα Συστ.] Εργασία 2

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Δείτε περισσότερα εδώ...]

Συμβουλές καλής χρήσης του φόρουμ: Youtube embed code and links, Shoutbox, Notify, ...

Δείτε περισσότερα εδώ...

[rspappas]

το νοημα ειναι να στελνεις στοιχεια των πινακων απο την μια διεργασια στην αλλη, να γινεται μια ανταλλαγη δηλαδη, να παιρνει πχ η μια διεργασια τα μεγαλυτερα των δυο και η αλλη τα μικροτερα, οποτε σιγα σιγα να γινεται η ταξινομηση.

εδω εχει μια ωραια υλοποιηση, που την εξηγει καλα http://www.cs.rutgers.edu/~venugopa/parallel_summer2012/mpi_bitonic.html
τωρα πως θα υλοποιηθει αυτο απο την αρχη, δεν ξερω
(υποψιν οτι στο λινκ λειπει ο μισος κωδικας, μαλλον κατα λαθος δειχνει δυο φορες το ιδιο πραγμα... oh well....)

[Exomag]

το νοημα ειναι να στελνεις στοιχεια των πινακων απο την μια διεργασια στην αλλη, να γινεται μια ανταλλαγη δηλαδη, να παιρνει πχ η μια διεργασια τα μεγαλυτερα των δυο και η αλλη τα μικροτερα, οποτε σιγα σιγα να γινεται η ταξινομηση.

εδω εχει μια ωραια υλοποιηση, που την εξηγει καλα http://www.cs.rutgers.edu/~venugopa/parallel_summer2012/mpi_bitonic.html
τωρα πως θα υλοποιηθει αυτο απο την αρχη, δεν ξερω
(υποψιν οτι στο λινκ λειπει ο μισος κωδικας, μαλλον κατα λαθος δειχνει δυο φορες το ιδιο πραγμα... oh well....)

Αυτό το link όντως δεν έχει έτοιμο τον κώδικα, αλλά εξηγεί πολύ καλά τη λογική (μέσω pseudocode) του αλγορίθμου.

[dimi93gr]

Για να τρέξει στο hellasgrid, σύμφωνα με αυτά που διάβασα λέει να κάνουμε ενα script και μάλιστα έχει και για υποβολή μιας εργασίας σε mpi.
Εγώ έγραψα αυτό που προτείνει
#!/bin/bash
#PBS -q auth
#PBS -N mpi-mm
#PBS -j oe
#PBS -l nodes=1:ppn=8

cd $PBS_O_WORKDIR
export NP=$(cat $PBS_NODEFILE | wc -l)

export I2G_MPI_TYPE=mpich2
export I2G_MPI_APPLICATION=mybitonicsort
$I2G_MPI_START

Αλλά όταν το τρέχω όπως λέει με qsub submit.sh και πατήσω μετά qstat ήταν επί ώρες σε κατάσταση Q.

Υπάρχει κάπου λάθος στη διαιδικασία;

[Exomag]

Η διαδικασία σωστή είναι, απλά είσαι σε queue μέχρις ότου δοθεί προτεραιότητα στο job σου.

Το script που έκανες qsub είναι ακριβώς αυτό που postαρες; Σχετικά με τα nodes/ppn ρωτάω.

[dimi93gr]

Πότε δηλαδή αναμένεται να εκτελεστεί;
Ναι αυτό είναι το script δοκιμαστικό το έκανα. Αυτό δεν μου δίνει 8 πυρήνες άρα 8 διεργασίες που φτιάχνουν από ένα πίνακα;
Και κάτι άλλο, αν έχω βάλει να παίρνει ορίσματα(δηλαδή να το δίνω το q για το 2^q ) πρέπει να βάλω mybitonicsort 4 π.χ για q=4;

[Exomag]

Πότε δηλαδή αναμένεται να εκτελεστεί;

Εξαρτάται από τον φόρτο του grid και το μέγεθος των resources που ζητάς. Από δευτερόλεπτα μέχρι και ώρες ή μέρες.

Ναι αυτό είναι το script δοκιμαστικό το έκανα. Αυτό δεν μου δίνει 8 πυρήνες άρα 8 διεργασίες που φτιάχνουν από ένα πίνακα;

Γενικά και τα nodes αλλά και τα ppn είναι οι "διεργασίες" του MPI που αναφέρει η εκφώνηση της εργασίας. Το πιο "σωστό" είναι, βέβαια, να χρησιμοποιεί περισσότερα nodes μιας και αυτό ουσιαστικά είναι το νόημα του MPI και της εργασίας. Αν κρίνεις απαραίτητο, για κάποιο λόγο, μπορείς να έχεις περισσότερα ppn (αντί για nodes) ως διεργασίες.

Και κάτι άλλο, αν έχω βάλει να παίρνει ορίσματα(δηλαδή να το δίνω το q για το 2^q ) πρέπει να βάλω mybitonicsort 4 π.χ για q=4;

Καταρχάς θα μπορούσες να είχες δοκιμάσει αυτό που προτείνεις για να δεις πως δεν δουλεύει. Κατά δεύτερον, μπορείς να δεις εδώ.

[spira mirabilis]

Για να τρέξω τον κώδικα στο grid τί modules πρέπει να έχω κάνει load;Προσπαθώ να τρέξω τα παραδείγματα από το git repository που έχει στο ethmmy και έχω κάνει load τα intel και mpich2, αλλά τα makefiles δεν τρέχουν. Από ότι κατάλαβα για να χρησιμοποιήσω το intel θέλει κάποια άδεια, που δεν έχω. Συγκεκριμένα μου βγάζει mpic++ -O0 mm.cpp -o mm

Error: A license for CCompL could not be obtained (-1,359,2).

Is your license file in the right location and readable?
The location of your license file should be specified via
the $INTEL_LICENSE_FILE environment variable.

Πώς τα τρέξατε εσείς;

[Exomag]

Για να τρέξω τον κώδικα στο grid τί modules πρέπει να έχω κάνει load;Προσπαθώ να τρέξω τα παραδείγματα από το git repository που έχει στο ethmmy και έχω κάνει load τα intel και mpich2, αλλά τα makefiles δεν τρέχουν. Από ότι κατάλαβα για να χρησιμοποιήσω το intel θέλει κάποια άδεια, που δεν έχω. Συγκεκριμένα μου βγάζει mpic++ -O0 mm.cpp -o mm

Error: A license for CCompL could not be obtained (-1,359,2).

Is your license file in the right location and readable?
The location of your license file should be specified via
the $INTEL_LICENSE_FILE environment variable.

Πώς τα τρέξατε εσείς;

Κάνε compile το MPI πρόγραμμα σου (με mpicc), και έπειτα κάνε qsub XXX.sh όπου XXX.sh ένα script (στον ίδιο φάκελο με το compiled πρόγραμμα) με κώδικα ίδιο με αυτόν που έγραψε παραπάνω ο dimi93gr (απλά άλλαξε το "mybitonicsort" στο όνομα του δικού σου compiled αρχείου).

[Antipunishment]

Μπορεί να μου πει κάποιος πως ακριβώς τρέχω το πρόγραμμα στον hellagrid? Ολα τα βήματα απο το μηδέν.

[spira mirabilis]

Για να τρέξω τον κώδικα στο grid τί modules πρέπει να έχω κάνει load;Προσπαθώ να τρέξω τα παραδείγματα από το git repository που έχει στο ethmmy και έχω κάνει load τα intel και mpich2, αλλά τα makefiles δεν τρέχουν. Από ότι κατάλαβα για να χρησιμοποιήσω το intel θέλει κάποια άδεια, που δεν έχω. Συγκεκριμένα μου βγάζει mpic++ -O0 mm.cpp -o mm

Error: A license for CCompL could not be obtained (-1,359,2).

Is your license file in the right location and readable?
The location of your license file should be specified via
the $INTEL_LICENSE_FILE environment variable.

Πώς τα τρέξατε εσείς;

Κάνε compile το MPI πρόγραμμα σου (με mpicc), και έπειτα κάνε qsub XXX.sh όπου XXX.sh ένα script (στον ίδιο φάκελο με το compiled πρόγραμμα) με κώδικα ίδιο με αυτόν που έγραψε παραπάνω ο dimi93gr (απλά άλλαξε το "mybitonicsort" στο όνομα του δικού σου compiled αρχείου).

     

Αα ανεβάζω έτοιμο το executable... (ελπίζω να βγω από το queue πριν την λήξη της προθεσμίας)Από ότι κατάλαβα από το wiki  για να γίνει η εκτέλεση με παραμετρικές εισόδους χρειάζεται ένα αρχείο .jdl, δεν αρκεί το .sh .Το πρώτο βήμα είναι η δημιουργία  proxy και θέλει να δηλώσουμε σε ποιο VO ανήκουμε.Εμείς ανήκουμε κάπου ή πρέπει να εγγραφούμε(στο SEE ας πούμε).

[Exomag]

Για να τρέξω τον κώδικα στο grid τί modules πρέπει να έχω κάνει load;Προσπαθώ να τρέξω τα παραδείγματα από το git repository που έχει στο ethmmy και έχω κάνει load τα intel και mpich2, αλλά τα makefiles δεν τρέχουν. Από ότι κατάλαβα για να χρησιμοποιήσω το intel θέλει κάποια άδεια, που δεν έχω. Συγκεκριμένα μου βγάζει mpic++ -O0 mm.cpp -o mm

Error: A license for CCompL could not be obtained (-1,359,2).

Is your license file in the right location and readable?
The location of your license file should be specified via
the $INTEL_LICENSE_FILE environment variable.

Πώς τα τρέξατε εσείς;

Κάνε compile το MPI πρόγραμμα σου (με mpicc), και έπειτα κάνε qsub XXX.sh όπου XXX.sh ένα script (στον ίδιο φάκελο με το compiled πρόγραμμα) με κώδικα ίδιο με αυτόν που έγραψε παραπάνω ο dimi93gr (απλά άλλαξε το "mybitonicsort" στο όνομα του δικού σου compiled αρχείου).

     

Αα ανεβάζω έτοιμο το executable... (ελπίζω να βγω από το queue πριν την λήξη της προθεσμίας)Από ότι κατάλαβα από το wiki  για να γίνει η εκτέλεση με παραμετρικές εισόδους χρειάζεται ένα αρχείο .jdl, δεν αρκεί το .sh .Το πρώτο βήμα είναι η δημιουργία  proxy και θέλει να δηλώσουμε σε ποιο VO ανήκουμε.Εμείς ανήκουμε κάπου ή πρέπει να εγγραφούμε(στο SEE ας πούμε).

Ισχύει αυτό που λες για παραμετρικές εισόδους, αλλά πιο εύκολο/απλό θα ήταν απλά να κάνεις διάφορα submit (διάφορα jobs) με τις εισόδους που θες. Δεν είναι πολλές οι δυνατές τιμές άλλωστε.

[Exomag]

Μπορεί να μου πει κάποιος πως ακριβώς τρέχω το πρόγραμμα στον hellagrid? Ολα τα βήματα απο το μηδέν.

Δεν νομίζω πως γίνεται να το εξηγήσει κανείς πιο αναλυτικά/ορθά από αυτό. Διάβασε το, σκέψου το, δοκίμασε το, και αν έχεις ακόμα θέμα τότε ρώτα μια συγκεκριμένη ερώτηση.

[chrimour]

Απορια. Κανω το qsub xxx.sh. Tο αρχειο εκτελειται αλλα πως βλεπω τα αποτελεσματα; Απλα τρεχει και βγαινει(το βλεπω απο το qstat). Tο αρχειο δεν εχει προβλημα αφου το τρεξα και στον διαδη με mpirun και κανω και το compile me mpicc.
Δηλαδη: α) πρωτα κανω compile mpicc xxxx.c - o xxx
              β) qsub xxxx.sh
              γ) ;;;;;;;

Μετα το qsub τι πρεπει να γραψω για να εμφανιστουν τα αποτελεσματα (δοκιμασα και το παραδειγμα mm που εχει το gitlab και παλι το ιδιο).

[Solaufein]

Πρέπει το κάθε thread να κάνει sort το δικό του πίνακα με Ν=2^q στοιχεία και μετά όλα μαζί μεταξύ τους  ή  το main thread να δημιουργεί έναν πίνακα Ν στοιχείων και τα επιμέρους threads να μοιράζονται και να ταξινομούν αυτόν τον πίνακα?

[jthois]

Πρέπει το κάθε thread να κάνει sort το δικό του πίνακα με Ν=2^q στοιχεία και μετά όλα μαζί μεταξύ τους  ή  το main thread να δημιουργεί έναν πίνακα Ν στοιχείων και τα επιμέρους threads να μοιράζονται και να ταξινομούν αυτόν τον πίνακα?