[Παράλληλα και Διανεμημένα Συστ.] Εργασία 2

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Αντιστοίχηση Μαθημάτων ΝΠΣ με ΠΠΣ]

Επίσημη ενημέρωση για Αντιστοίχηση Μαθημάτων ΝΠΣ με ΠΠΣ και η συζήτηση στο forum.

[nikoscha]

Είναι λογικό όταν τρέχω το πρόγραμμα μόνο με OpenMP να μου κάνει η play 12 sec ενώ όταν προσθέτω (για ενα task) ένα mpi init και mpi finalize να μου ανεβάζει τον χρόνο στα 18 sec? Στις generate και init ο χρόνος παραμένει ίδιος

[ReMi0s]

Ξέρει κανείς γιατί μπορεί να βγάζει exit code 1 ενώ όλα τα processes φαίνεται να χουν κάνει Finalize;
Στο grid συμβαίνει αυτό στο pc μου δεν μου βγάζει ποτέ.

αν βάλεις -std=gnu99 δεν θα σου βγάζει το exit code 1.

Όταν ορίζω τον αριθμό των node των processors και τον αριθμό των tasks, Αν εχω για παράδειγμα 4 node και 8 πυρήνες στο κάθε node και θέλω να δημιουργήσω 4 task, πως ελέγχο σε ποιο node θα δημιουργηθεί το κάθε task ? Ώστε να μην δημιουργηθούν 2 task στο ίδιο node ! Ευχαριστώ εκ των προτέρων!

Έχει κανά 10λεπτο που έκανα qsub και το job μου είναι ακόμα στο queue
Το script που κάνω submit είναι αυτό:

Code:

#!/bin/bash
#PBS -N game-of-life
#PBS -q pdlab
#PBS -j oe
#PBS -l nodes=4:ppn=5

module load mpi/mpich3-x86_64
cd $PBS_O_WORKDIR

echo "=====test Run starts now ======= `date` "

mpiexec -np $PBS_NP ./../bin/game-of-life 10 0.2 3 1 &> $PBS_JOBNAME.log

echo "====test Run ends now ======= `date` "

Έχει κανείς άλλος το ίδιο πρόβλημα;

Γενικά να το σκέφτεσαι πως node= άλλο μηχάνιμα και ppn= tasks στο ίδιο μηχάνημα.
Αν βάλεις Node=4 και ppn=8 τότε δημιουργείς 32 tasks, δηλαδή 8 task σε κάθε ένα node!

Γενικά το grid στο group μας (pdlab) διαθέτει 4 nodes. Οπότε όταν ζητάς και τα 4 θα περιμένεις στο quee αρκετή ώρα.
Βέβαια τα καλύτερα αποτελέσματα, εφόσον έχεις κρύψει τον χρόνο επικοινωνίας με ασύγχρονες εντολές αποστολής και λήψεις, θα τα πάρεις για διαφορετικά nodes, παρά για διαφορετικά task στο ίδιο node.

οταν τρεχω στο grid μου βγαζει στο .log το εξης:
"./bin/game-of-life: error while loading shared libraries: libmpich.so.12.: cannot open shared object file: No such file or directory

και δεν τρεχει τιποταααααααααααααα
το πετυχε και κανενας αλλος αυτο μηπως;

πρέπει να κάνεις make μέσα στο grid, και όχι ανεβασμένο απο το pc σου

[georgkonst]

Παραταση μεχρι 5 Ιανουαριου @ethmmy ανακοινωσεις 

[ditroo]

για να τρέξετε 40000x40000 τι nodes και τι ppn βάζετε??  1 και 1;

[Insignia]

για να τρέξετε 40000x40000 τι nodes και τι ppn βάζετε??  1 και 1;

nodes=1:ppn=8

Απ' ότι έχω καταλάβει με διάφορα πειράματα, το ppn σου εξασφαλίζει τον ελάχιστο αριθμό πυρήνων που θα σου δώσει το cluster. Αρά αν το βάλεις ppn=1 πιθανότατα θα τρέξει κανονικά αφού και τα άλλα cores πιθανότατα θα είναι ελευθερα όμως υπάρχει περίπτωση να μοιραστείς το ίδιο node με κάποιον άλλον και να σου πάρει τα cores και έτσι να αυξηθει ο χρόνος σου. Δηλαδή αν το node έχει ελεύθερα cores, ακόμα και αν δεν του τα έχεις ζητήσει, θα στα δώσει, αλλά υπάρχει πάντα η περιπτωση να τρέξει και άλλος μαζι στο ίδιο node και να στα πάρει αν βάλεις ppn=1.

[ditroo]

nodes=1:ppn=8

Απ' ότι έχω καταλάβει με διάφορα πειράματα, το ppn σου εξασφαλίζει τον ελάχιστο αριθμό πυρήνων που θα σου δώσει το cluster. Αρά αν το βάλεις ppn=1 πιθανότατα θα τρέξει κανονικά αφού και τα άλλα cores πιθανότατα θα είναι ελευθερα όμως υπάρχει περίπτωση να μοιραστείς το ίδιο node με κάποιον άλλον και να σου πάρει τα cores και έτσι να αυξηθει ο χρόνος σου. Δηλαδή αν το node έχει ελεύθερα cores, ακόμα και αν δεν του τα έχεις ζητήσει, θα στα δώσει, αλλά υπάρχει πάντα η περιπτωση να τρέξει και άλλος μαζι στο ίδιο node και να στα πάρει αν βάλεις ppn=1.

Αρχικά ευχαριστώ για την εξήγηση. Σε αυτή την περίπτωση με nodes=1:ppn=8 προκύπτουν 8 διεργασίες.

Με το εξής script θα πρέπει να αλλάξουμε και το flag $PBS_NP να το κάνουμε 1 για να τρέξει μόνο μια διεργασία;
Εννοώ σε αυτή την εντολή:
mpiexec -np $PBS_NP ./game-of-life 40000 40000 0.5 3 0 8 &> $PBS_JOBNAME.log

[Insignia]

Αρχικά ευχαριστώ για την εξήγηση. Σε αυτή την περίπτωση με nodes=1:ppn=8 προκύπτουν 8 διεργασίες.

Με το εξής script θα πρέπει να αλλάξουμε και το flag $PBS_NP να το κάνουμε 1 για να τρέξει μόνο μια διεργασία;
Εννοώ σε αυτή την εντολή:
mpiexec -np $PBS_NP ./game-of-life 40000 40000 0.5 3 0 8 &> $PBS_JOBNAME.log

Ναι. Ή διαφορετικά μπορείς να χρησιμοποιήσεις τη μεταβλητή $PBS_NUM_NODES.

[ReMi0s]

Ναι. Ή διαφορετικά μπορείς να χρησιμοποιήσεις τη μεταβλητή $PBS_NUM_NODES.

δεν νομίζω οτι αυτό ισχύει πάντως, γιατί το δοκιμάζω τώρα και για 80000*40000 και δύο διεργασίες, κάνει πάνω απο 120 second ενώ αλλιώς έκανε γύρω στα 76 sec... Το δοκίμασα 3 φορές και μετά με ακριβώς τα ίδια αρχεία το δοκίμασα για 2 nodes , 1 ppn και τρέχει κανονικά. Μάλλον με τον παραπάνω τρόπο ναι μεν δεσμεύεις όλους τους πυρήνες, αλλα μερικοί δεν κάνουν τίποτα, επιβραδύνοντας την όλη διαδικασία αφού χρησιμοποιείς και openmp που χρειάζεται πυρήνες για τα threads.

Ο φλώρος είπε οτι όταν ζητήσεις node, τρέχεις μόνο εσύ σε αυτό. Αν ισχύει το παραπάνω είναι λάθος, τώρα το κατα πόσο ισχύει δεν ξέρω.

[Insignia]

δεν νομίζω οτι αυτό ισχύει πάντως, γιατί το δοκιμάζω τώρα και για 80000*40000 και δύο διεργασίες, κάνει πάνω απο 120 second ενώ αλλιώς έκανε γύρω στα 76 sec... Το δοκίμασα 3 φορές και μετά με ακριβώς τα ίδια αρχεία το δοκίμασα για 2 nodes , 1 ppn και τρέχει κανονικά. Μάλλον με τον παραπάνω τρόπο ναι μεν δεσμεύεις όλους τους πυρήνες, αλλα μερικοί δεν κάνουν τίποτα, επιβραδύνοντας την όλη διαδικασία αφού χρησιμοποιείς και openmp που χρειάζεται πυρήνες για τα threads.

Ο φλώρος είπε οτι όταν ζητήσεις node, τρέχεις μόνο εσύ σε αυτό. Αν ισχύει το παραπάνω είναι λάθος, τώρα το κατα πόσο ισχύει δεν ξέρω.

Ο λόγος που σου κάνει περισσότερο χρόνο είναι γιατι χρησιμοποιώντας την εντολή
mpiexec -np 2 ./game-of-life 80000 40000 0.5 3 0
δεν ορίζεις πουθενά ότι θες τα δυο mpi processes να τρέξουν σε δυο διαφορετικά nodes (δηλαδή σε διαφορετικους υπολογιστες). Αν τρέξεις απλά αυτή την εντολή τότε πιθανότατα και τα δυο mpi processes θα μπούν στο ίδιο node αλλα σε διαφορετικό core και με αυτό τον τρόπο χάνεις πρακτικά ένα ολόκληρο node αφου δεν τρέχεις mpi πάνω του.
Ο λόγος που δουλεύει συνήθως αν βάλεις ppn=1 είναι γιατι δεσμευει ένα core ανα node αναγκάζοντάς το έτσι να βάλει τα δυο mpi processes σε διαφορετικά nodes (αφού δεν μπορεί πλεον να τα βάλει στο ίδιο). Όμως αυτός ο τρόπος έχει το μειονέκτημα ότι δεν σου εξασφαλίζει ότι θα έχεις όλα τα cores δικά σου και άρα δεν σου εγγυάται σταθερούς και γρήγορους χρόνους.

Για να το κάνεις να τρέξει ένα mpi process ανα nodes ανεξαρτήτως του πόσα ppn έχεις βάλει πρέπει να βάλεις μια έξτρα flag στην εντολή mpiexec
Εγώ βρήκα και χρησιμοποίησa κάποιες flag που δουλέψαν σωστά απο αυτό το site: https://software.intel.com/en-us/articles/controlling-process-placement-with-the-intel-mpi-library

Δεν ξέρω τι είχε πει ο Φλώρος όμως έγω δοκίμασα πολλές ασκήσεις και πάντα επαληθεύονταν τα αποτελέσματά μου. Αν θες μπορεις να δοκιμάσεις και εσυ για να το δεις. Δοκίμασε να τρέξεις μια άσκηση με παραλληλισμο όπως την προηγούμενη με τα pthread που είχαμε και τρέξε την για μέγιστο αριθμό σωματιδίων για 16 threads 7 φορές και βάλε 5 τέτοιες στην ουρά για ppn=1 και άλλες 5 για ppn=8. Θα παρατηρήσεις ότι για ppn=1 οι χρόνοι έχουν μεγάλη διακύμανση επειδή κάποιες φορές βρίσκει παραπάνω cores για να κάνει καλό παραλληλισμό και κάποιες όχι. Ένώ με ppn=8 οι χρόνοι είναι πάντα σταθεροί επειδή πάντα έχει 8 cores.

[ReMi0s]

Σε πιστεύω, απλά με το flag $PBS_NUM_NODES που ανέφερες δεν λειτουργεί σωστα, τουλάχιστον σε εμένα. Τώρα αν εσύ έχεις βάλει επιπλέον άλλα flags και θέλεις να το μοιραστείς μαζί μας σε ευχαριστούμε
Επίσης επειδή στο παράδειγμα που έφερες λές να βάλουμε στο quee 5 διαφορετικές qsub , να αναφέρω οτι για δικές σου διεργασίες μπορεί να τρέξουν στο ίδιο node, σε αντίθεση με των υπολοίπως όπως ανέφερε ο φλώρος.
Οπότε είναι προτιμότερο να τις τρέχεις μία μία.

[Insignia]

Σε πιστεύω, απλά με το flag $PBS_NUM_NODES που ανέφερες δεν λειτουργεί σωστα, τουλάχιστον σε εμένα. Τώρα αν εσύ έχεις βάλει επιπλέον άλλα flags και θέλεις να το μοιραστείς μαζί μας σε ευχαριστούμε
Επίσης επειδή στο παράδειγμα που έφερες λές να βάλουμε στο quee 5 διαφορετικές qsub , να αναφέρω οτι για δικές σου διεργασίες μπορεί να τρέξουν στο ίδιο node, σε αντίθεση με των υπολοίπως όπως ανέφερε ο φλώρος.
Οπότε είναι προτιμότερο να τις τρέχεις μία μία.

Εγώ χρησιμοποίησα το flag -ppn 1 για να δηλώσω ότι θέλω να τρέξει ένα mpi process ανα nodes. Στο site αναφέρονται και άλλα flags όπως "-perhost <#>" ή "-grr <#>" που φαντάζομαι θα λειτουργούν με τον ίδιο τρόπο αλλά δεν τα έχω δοκιμάσει. Οπότε η εντολή γίνεται έτσι
mpiexec -np $PBS_NUM_NODES -ppn 1 ./game-of-life 80000 40000 0.5 3 0

Το $PBS_NUM_NODES είναι απλά είναι μια μεταβλητή που παίρνει την τιμή που έχεις βάλει στο node, δεν είναι απαραίτητο να τη βάλεις, μπορεις να χρησιμοποιήσεις απλά έναν αριθμό. Δηλαδή αν βάλεις στο script σου nodes=2:ppn=8 τότε το $PBS_NUM_NODES θα είναι ίσο με 2.

Λέω να κάνεις queue 5 διεργασίες για να το δείς πιο καθαρά επειδή υπάρχει μεγάλη πιθανότητα να μην τρέξει κάποιος ταυτόχρονα με εσένα. Όμως και με ένα queue το βλέπεις απλά δεν υπάρχει τόσο μεγάλη πθανότητα.
Σε αυτό που λέει ο Φλώρος όμως δεν έχει άδικο. Αν ζητήσεις nodes=2:ppn=3 τότε θα σου δώσει εσένα και μόνο εσένα 3 cores σε ενα node και άλλα 3 σε άλλο core. Αυτό που λέω έγω είναι ότι αν έχει και αλλα ελευθερα cores θα σου τα δώσει και αυτά μεχρι να τα παρει αλλος.

[ReMi0s]

Εγώ χρησιμοποίησα το flag -ppn 1 για να δηλώσω ότι θέλω να τρέξει ένα mpi process ανα nodes. Στο site αναφέρονται και άλλα flags όπως "-perhost <#>" ή "-grr <#>" που φαντάζομαι θα λειτουργούν με τον ίδιο τρόπο αλλά δεν τα έχω δοκιμάσει. Οπότε η εντολή γίνεται έτσι
mpiexec -np $PBS_NUM_NODES -ppn 1 ./game-of-life 80000 40000 0.5 3 0

Το $PBS_NUM_NODES είναι απλά είναι μια μεταβλητή που παίρνει την τιμή που έχεις βάλει στο node, δεν είναι απαραίτητο να τη βάλεις, μπορεις να χρησιμοποιήσεις απλά έναν αριθμό. Δηλαδή αν βάλεις στο script σου nodes=2:ppn=8 τότε το $PBS_NUM_NODES θα είναι ίσο με 2.

Με μεγάλη επιφύλαξη θα πώ οτι στην ουσία κάνεις μια τρύπα στο νερό.
Τι εννοώ, ναι μεν θέτεις nodes=2:ppn=8 αλλά μετά επαναπροσδιορίζεις το ppn=1 στην mpiexec.
Νομίζω οτι ο τρόπος σου έχει ακριβώς τα ίδια αποτελέσματα με την εντολή
nodes=2:ppn=1
mpiexec -np $PBS_NP ./game-of-life 80000 40000 0.5 3 0

Όλα αυτά με μεγάλη επιφύλαξη και χωρίς καμία διάθεση για αντιπαράθεση. Δεν είμαι ειδικός ούτε έχω διαβάσει για το σχετικό θέμα παραπάνω απο εσένα, απλά αυτό που κατανοώ εγώ γράφω Φιλικά

[Insignia]

Με μεγάλη επιφύλαξη θα πώ οτι στην ουσία κάνεις μια τρύπα στο νερό.
Τι εννοώ, ναι μεν θέτεις nodes=2:ppn=8 αλλά μετά επαναπροσδιορίζεις το ppn=1 στην mpiexec.
Νομίζω οτι ο τρόπος σου έχει ακριβώς τα ίδια αποτελέσματα με την εντολή
nodes=2:ppn=1
mpiexec -np $PBS_NP ./game-of-life 80000 40000 0.5 3 0

Όλα αυτά με μεγάλη επιφύλαξη και χωρίς καμία διάθεση για αντιπαράθεση. Δεν είμαι ειδικός ούτε έχω διαβάσει για το σχετικό θέμα παραπάνω απο εσένα, απλά αυτό που κατανοώ εγώ γράφω Φιλικά

Η flag -ppn 1 δεν έχει σχέση με την εντολή nodes=1:ppn=8 που δίνεις στο script, είναι απλά ατυχής ονομασία. Θα μπορούσαν να χρησιμοποιηθούν και άλλα flags που δεν ονομαζονται έτσι.
Για να φανεί ακόμα πιο καθαρά μπορεις να βάλεις στο script την εντολή
echo $PBS_NODEFILE
όπου θα τυπώσεις όλα τα cores που σου έχουν δωθεί και φαίνεται ότι δεν δίνει μόνο ένα ανα node αλλά και τα 8.

[ReMi0s]

Η flag -ppn 1 δεν έχει σχέση με την εντολή nodes=1:ppn=8 που δίνεις στο script, είναι απλά ατυχής ονομασία. Θα μπορούσαν να χρησιμοποιηθούν και άλλα flags που δεν ονομαζονται έτσι.
Για να φανεί ακόμα πιο καθαρά μπορεις να βάλεις στο script την εντολή
echo $PBS_NODEFILE
όπου θα τυπώσεις όλα τα cores που σου έχουν δωθεί και φαίνεται ότι δεν δίνει μόνο ένα ανα node αλλά και τα 8.

Φαίνεται να έχεις δίκιο τώρα που το δοκίμασα με την εντολή
nodes=2:ppn=8
mpiexec -np $PBS_NUM_NODES -ppn 1 ./game-of-life 80000 40000 0.5 3 0

οι χρόνοι ειναι σταθεροί. Ευχαριστώ για την υπομονή σου!

[Terzos]

Έχει κανείς άλλος πρόβλημα όταν παραλληλοποιεί την play με openmp?

edit: Μάλλον το βρήκα. Έπρεπε να ρωτήσω