[Παράλληλα και Διανεμημένα Συστ.] Εργασία 2

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Admins]

Για αλλαγή του public name σας, επικοινωνήστε με έναν από τους Admins.

[Andromedas]

-Παίζει το παιχνίδι για t γενιές (επαναλήψεις), χρησιμοποιώντας σε κάθε υποτμήμα υλοποίηση σε OpenMP

-Χρησιμοποιεί προχωρημένες εντολές MPI-3, για την επικοινωνία μεταξύ των διεργασιών (shared memory - RMA).

Μετά από λίγο διάβασμα στο ίντερνετ καταλαβαίνω η υλοποίηση με MPI-3 είναι εναλλακτική της υλοποίησης με MPI και OpenMP. Καταλαβαίνω κάτι λάθος; Μήπως πρέπει να κάνουμε και τα 2;

Νομίζω ότι είσαι σωστός. Κάπως έτσι το υλοποιώ και εγώ ...
Το MPI3 έχει περισσότερα από το MPI1 πχ unblocking call και συγκεκριμένα την shared memory RMA το οποίο μας ζητάει να υλοποιήσουμε κιόλας. Και από ότι κατάλαβα μέχρι τώρα ο συγχρονισμός θα γίνει με το access στην shared μεταβλητή.

[fanaks]

Τελικά ρε παιδιά πως πρέπει να κάνουμε την τομή του πίνακα,σε ορθογώνια ή τετράγωνα.Έχω την εντύπωση οτι το θέλει σε τετράγωνα,μετά ξεφεύγει ομως λίγο η υλοποίηση αν θες να την κάνεις να έχει γενική ισχύ ή κάνω λάθος.Εσείς πώς το κάνετε?

[fanaks]

Νομίζω ότι είσαι σωστός. Κάπως έτσι το υλοποιώ και εγώ ...
Το MPI3 έχει περισσότερα από το MPI1 πχ unblocking call και συγκεκριμένα την shared memory RMA το οποίο μας ζητάει να υλοποιήσουμε κιόλας. Και από ότι κατάλαβα μέχρι τώρα ο συγχρονισμός θα γίνει με το access στην shared μεταβλητή.

Απο ότι αναφέρθηκε στο μάθημα και κατάλαβα και εγώ αυτό που πρέπει απλά να κάνουμε είναι να γράψουμε το πρόγραμμα σε MPI και στα σημεία του κώδικα με πολλές επαναλήψεις να κάνουμε παραλληλοποίηση με νήματα σε openMP.

[ReMi0s]

εγώ προσπαθώ απο εχθές να κάνω έστο το κομμάτι του OpenMP. Καλύτερους χρόνου παίρνω μόνο για την Play, για ολες τις άλλες ( init, generate) με openMP παίρνω πολύ χειρότερους χρόνους.. Κανείς που το κατάφερε;

[TrueForce]

^Χωρις να έχω δει την εργασία και κρίνοντας μόνο από τα ονόματα των συναρτήσεων, μήπως τις init και generate δε χρειάζεται/δεν έχει νόημα να τις παραλληλοποιήσεις και πρέπει να τις κάνει μόνο το master task;

[ReMi0s]

^Χωρις να έχω δει την εργασία και κρίνοντας μόνο από τα ονόματα των συναρτήσεων, μήπως τις init και generate δε χρειάζεται/δεν έχει νόημα να τις παραλληλοποιήσεις και πρέπει να τις κάνει μόνο το master task;

εγώ θεωρώ οτι δεν πρέπει να τις κάνει το master task, καθώς ο στόχος μας πέραν απο τη ταχύτητα υλοποίησης είναι και να μπορεί το πρόγραμμα να λειτουργήσει για μεγάλους πίνακες.
Αμα κάνει generate ολοκληρο τον πίνακα ένα τασκ, στην ουσία κρατάει στην μνήμη του έναν πολύ μεγάλο πίνακα, με πιθανότητα αν δεν επαρκεί η μνήμη το πρόγραμμα να σταματήσει.. Το σκέφτομαι λάθος;

[Aristos]

η initialize_board είναι περίεργη έτσι και αλλιώς γιατί δεν έχει λόγο ύπαρξης αν καλέσει κάποιος την generate_table.
η αρχικοποίηση του παιχνιδιού γενικότερα όμως, νομίζω έχει περισσότερο νόημα να γίνει σε κομμάτια. διαφορετικά θα πρέπει να μεταφερθούν οι πίνακες που θα προκύψουν από το master task στα υπόλοιπα. χρονοβόρα και μάλλον περιττή διαδικασία.

[BADBANE]

Εγώ έθεσα να δημιουργείται πίνακας με βάση τα πόσα tasks έχουν δοθεί μιας και παίρνουμε στάνταρ περιπτώσεις  1 -> 4Χ4, 2->8Χ4 και 4->8Χ8.
Αλλά όντως όπως είπε ο terzos δε κατάλαβα πως θα δοθεί ο αριθμός των tasks μέσα απ' το script.
Σχετικά με MPI3. Εγώ κατάλαβα ότι σπάμε το πρόγραμμα στα διάφορα tasks και αυτά επικοινωνούν μεταξύ τους (MPI) και όπου μπορούμε παραλληλοποιούμε με openmp όπως στην πρώτη εργασία (τις for μιας και έχει πολλές).

[Vlassis]

ανεξαρτητα απο την αρχικοποιηση, δεν θα πρεπει και τα αποτελεσματα ολων να επιστρεφονται σε ενα process πχ στο master, ωστε αυτο να επιστραφει και στο τελος του προγραμματος;
αρα θα πρεπει ετσι κ αλλιως σε ενα process καποια στιγμη να δεσμευσεις μνημη για ολοκληρο τον πινακα (80K x 80K πχ), οποτε δεν αρχικοποιεις σε κομματια
μπορει να εχω καταλαβει και βλακεια, δεν ειμαι σιγουρος   

[orestisf]

Καθως ο board ειναι σε int: 80000 * 80000 * 4 ειναι περιπου 25.6 GB. Δεν νομιζω 1 node στο hellas grid να εχει τοσο μνημη ωστε να χωρεσει ολος ο πινακας. Οποτε η μονη λυση ειναι η εγγραφη κομματι κομματι σε αρχειο για την αποθηκευση του αποτελεσματος (το οποιο ειναι πιο λογικο να γινει σε ανα node). Γενικα δεν νομιζω οτι το νοημα της εργασιας ειναι τοσο η αποθηκευση του αποτελεσματατος αλλα ο υπολογισμος.

[kaspas]

Πρέπει να βάλουμε και χρονόμετρα για να βλέπουμε πόσο χρόνο κάνει ή μπορεί να γίνει στο grid αλλιώς;

[BADBANE]

ανεξαρτητα απο την αρχικοποιηση, δεν θα πρεπει και τα αποτελεσματα ολων να επιστρεφονται σε ενα process πχ στο master, ωστε αυτο να επιστραφει και στο τελος του προγραμματος;
αρα θα πρεπει ετσι κ αλλιως σε ενα process καποια στιγμη να δεσμευσεις μνημη για ολοκληρο τον πινακα (80K x 80K πχ), οποτε δεν αρχικοποιεις σε κομματια
μπορει να εχω καταλαβει και βλακεια, δεν ειμαι σιγουρος    

Γιεπ αυτό γινεται.
Με 3 if αναλογα τον αριθμό των processes φτιάχνεις το αναλογο ταμπλό.. Έστω 8χ8, κανεις mpi_scatter σε 4 processes(οριζοντας ποιο τμημα του μεγαλου board θα παρει το κάθε υποτμημα), τρέχει η play συνάρτηση και έπειτα κανεις mpi_gather



Edit: οντως τωρα που ειναι 40.000 κ οχι 4000 είναι μεγάλο για αποθήκευση.. Ισως κάνοντας gather σε εναν μεγάλο πίνακα να θεωρηθεί οτι "τελείωσε το πρόγραμμα.

[kaspas]

Παιδια η μόνη που χρειάζεται επικοινωνία μεταξύ των processes είναι η play έτσι;

[lodi]

edit: στο $SCRATCHDIR ανεβαζετε κωδικα και φτιαξτε ενα script.sh

#!/bin/bash
#PBS -q auth
#PBS -N mpi-mm
#PBS -j oe
#PBS -l nodes=1:ppn=8

cd $PBS_O_WORKDIR
export NP=$(cat $PBS_NODEFILE | wc -l)

export I2G_MPI_TYPE=mpich2
export I2G_MPI_APPLICATION=mm
$I2G_MPI_START

στο auth βαλτε pdlab (σκετο χωρις 000 whatever) και το mm είναι το ονομα του εκτελεσιμου σας

qsub script.sh ανεβαινει και τρέχει και με το qstat τσεκάρεις την κατασταση του.

όταν λες όπου mm βάζω το εκτελέσιμο εννοείς να το έχω κάνει ήδη compile. Πώς κάνουμε compile για mpi στο grid ?

[BADBANE]

^^ φανταζομαι ναι
^ mpicc αντι για gcc (που καναμε στα προηγουμενα), μετα ολα τα .c και .h και
-o GameOfLife