[Παράλληλα και Διανεμημένα Συστ.] Εργασία 2

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

Για οποιοδήποτε πρόβλημα με register/login, στείλτε email στο contact@thmmy.gr.

[greekoo]

πάω να κάνω compile στον διάδη και μου πετάει "/usr/bin/ld: final link failed: No space left on device
collect2: ld returned 1 exit status".

Τι παίζει;

Χρησιμοποιείς αρχεία;(για εισαγωγη δεδομένων)

όχι φίλε μου!

[Λήσταρχος Γιαγκούλας]

πάω να κάνω compile στον διάδη και μου πετάει "/usr/bin/ld: final link failed: No space left on device
collect2: ld returned 1 exit status".

Τι παίζει;

Χρησιμοποιείς αρχεία;(για εισαγωγη δεδομένων)

όχι φίλε μου!

Δοκίμασε και στο cluster,μπορεί να έχει θέμα ο Διάδης.
Πολύ πιθανό σφάλμα πάντως όταν πας να τρέξεις το πρόγραμμα σε διαφορετικό υπολογιστή~filesystem~OS

[greekoo]

πάω να κάνω compile στον διάδη και μου πετάει "/usr/bin/ld: final link failed: No space left on device
collect2: ld returned 1 exit status".

Τι παίζει;

Χρησιμοποιείς αρχεία;(για εισαγωγη δεδομένων)

όχι φίλε μου!

Δοκίμασε και στο cluster,μπορεί να έχει θέμα ο Διάδης.
Πολύ πιθανό σφάλμα πάντως όταν πας να τρέξεις το πρόγραμμα σε διαφορετικό υπολογιστή~filesystem~OS

Θα το δοκιμάσω φίλε μ ευχαριστώ.

Αρκεί η διάλεξη για το grid στο ethmmy, για την εξήγηση του πως να τρέξω mpi στο cluster?

[Λήσταρχος Γιαγκούλας]

πάω να κάνω compile στον διάδη και μου πετάει "/usr/bin/ld: final link failed: No space left on device
collect2: ld returned 1 exit status".

Τι παίζει;

Χρησιμοποιείς αρχεία;(για εισαγωγη δεδομένων)

όχι φίλε μου!

Δοκίμασε και στο cluster,μπορεί να έχει θέμα ο Διάδης.
Πολύ πιθανό σφάλμα πάντως όταν πας να τρέξεις το πρόγραμμα σε διαφορετικό υπολογιστή~filesystem~OS

Θα το δοκιμάσω φίλε μ ευχαριστώ.
Αρκεί η διάλεξη για το grid στο ethmmy, για την εξήγηση του πως να τρέξω mpi στο cluster?

Θελω να πιστεύω πως ναι!

[greekoo]

Yπάρχει ένα βίντεο στο youtube με ένα παράδειγμα υποβολής παράλληλου MPI JOB στο grid.

Μπορεί να μου πεί κάποιος τι <VO> βάζουμε στο voms-proxy-init (λεπτό 7:19) ;;

Και αν πέρα απο τις οδηγίες που μας έστειλαν στο authmail μας για την εγγραφή, χρειαζόμαστε να κάνουμε κ κάτι άλλο;

<a href="https://www.youtube.com/watch?v=-CE0BLW2e8Q" target="_blank">http://www.youtube.com/watch?v=-CE0BLW2e8Q</a>

[Λήσταρχος Γιαγκούλας]

Yπάρχει ένα βίντεο στο youtube με ένα παράδειγμα υποβολής παράλληλου MPI JOB στο grid.

Μπορεί να μου πεί κάποιος τι <VO> βάζουμε στο voms-proxy-init (λεπτό 7:19) ;;
Και αν πέρα απο τις οδηγίες που μας έστειλαν στο authmail μας για την εγγραφή, χρειαζόμαστε να κάνουμε κ κάτι άλλο;

Δώσε λινκ ή κάνε embedd να ξέρουμε για τι μιλάμε! 

[Λήσταρχος Γιαγκούλας]

Ερώτηση σε όσους προχώρησαν στο MPI:
Εχει νόημα να βάλουμε σε γενικές γραμμες send,recv αντί για lsend,lrecv
(Blocking ή non-blocking?)
Γενικά πιστεύετε ότι θα χρειαστούν ιδιαίτερα διαφορετικές συναρτήσεις πέρα από τι κλασσικές?
send ,recv, bcast alltoall κλπ?

[greekoo]

Yπάρχει ένα βίντεο στο youtube με ένα παράδειγμα υποβολής παράλληλου MPI JOB στο grid.

Μπορεί να μου πεί κάποιος τι <VO> βάζουμε στο voms-proxy-init (λεπτό 7:19) ;;
Και αν πέρα απο τις οδηγίες που μας έστειλαν στο authmail μας για την εγγραφή, χρειαζόμαστε να κάνουμε κ κάτι άλλο;

Δώσε λινκ ή κάνε embedd να ξέρουμε για τι μιλάμε! 

χαχα ξεχαστηκα φιλε οριστε

 <a href="https://www.youtube.com/watch?v=-CE0BLW2e8Q" target="_blank">http://www.youtube.com/watch?v=-CE0BLW2e8Q</a>

[rspappas]

Ερώτηση σε όσους προχώρησαν στο MPI:
Εχει νόημα να βάλουμε σε γενικές γραμμες send,recv αντί για lsend,lrecv
(Blocking ή non-blocking?)
Γενικά πιστεύετε ότι θα χρειαστούν ιδιαίτερα διαφορετικές συναρτήσεις πέρα από τι κλασσικές?
send ,recv, bcast alltoall κλπ?

χωρις να εχω κανει mpi, κανω τις εξης υποθεσεις:

για το κομματι της αρχικης ανταλλαγης κουτιων μεταξυ processes, φανταζομαι εξαρταται παρα πολυ απο το πως επιλεξεις να κανεις τις επικοινωνιες, δηλαδη με ποια σειρα και πως θα τα στελνεις (πχ η εργασια Χ στελνει πρωτα στην εργασια 0, μετα σητν εργασια 1, κλπ).
Το send, κατα την γνωμη μου, θα πρεπει να ειναι blocking, ωστε να πρεπει να αποσταλει το καθε πακετο για να "ξεμπερδευουμε" με αυτο, ενω το receive non blocking ωστε να μην περιμενεις μια αποστολη τζαμπα πολυ ωρα.
 αλλα φανταζομαι με λιγο καλο συγχρονισμο των διεργασιων σε αυτο το σημειο, και με την επινοηση ενος εξυπνου τροπου επιλογης του σε ποιον να στελνει καθε φορα η διεργασια και με ποια σειρα, τοτε δεν θα υπαρξει ιδιαιτερο θεμα (bottlenecks Κλπ)

για το σημειο του search, ειναι πιο ξεκαθαρο οτι το send πρεπει να ειναι blocking, ωστε να περιμενει η διεργασια να γινει η αναζητηση σε γειτονικο κουτι, καθως χρειαζεται αμεσα το αποτελεσμα
ενω το receive να μην ειναι blocking καθως μπορει να μην εχει ζητησει κανεις επικοινωνια με την συγκεκριμενη διεργασια
για το search, οπου send εννοω το αιτημα που θα στειλει μια διεργασια προς μια αλλη διεργασια, οταν θελει να ψαξει σε ενα κουτι της. αφου γινει αυτο, θα υπαρξει μια ακομα ανταλλαγη δεδομενων φανταζομαι, με το αποτελεσμα της αναζητησης.
δηλαδη:

ΔΙΕΡΓΑΣΙΑ Α: Ε ψιτ, θελω να ψαξεις στο κουτι Χ ποιο σημειο ειναι πιο κοντα στο σημειο μου Q (block μεχρι να ληφθει το μηνυμα)
ΔΙΕΡΓΑΣΙΑ Β: (οταν ερθει η ωρα του receive της) Ακουω. ΟΚ, ελαβα, και ψαχνω
ΔΙΕΡΓΑΣΙΑ Α: blocking receive μεχρι να της ερθει το αποτελεσμα απο την B
ΔΙΕΡΓΑΣΙΑ Β: Ελα, μαν, βρηκα το σημειο C, ειναι ο καλυτερος υποψηφιος (send, blocking or nonblocking, ο Α περιμενει)
ΔΙΕΡΓΑΣΙΑ Α: ΟΚ, ελαβα, συνεχιζω την αναζητηση
ΔΙΕΡΓΑΣΙΑ Β: ΟΚ, συνεχιζω την αναζητηση

[Λήσταρχος Γιαγκούλας]

Yπάρχει ένα βίντεο στο youtube με ένα παράδειγμα υποβολής παράλληλου MPI JOB στο grid.

Μπορεί να μου πεί κάποιος τι <VO> βάζουμε στο voms-proxy-init (λεπτό 7:19) ;;
Και αν πέρα απο τις οδηγίες που μας έστειλαν στο authmail μας για την εγγραφή, χρειαζόμαστε να κάνουμε κ κάτι άλλο;

Δώσε λινκ ή κάνε embedd να ξέρουμε για τι μιλάμε! 

χαχα ξεχαστηκα φιλε οριστε
 <a href="https://www.youtube.com/watch?v=-CE0BLW2e8Q" target="_blank">http://www.youtube.com/watch?v=-CE0BLW2e8Q</a>

Δεν ξέρω αν χρειάζεται να μπλέξεις με .jdl αρχεία...( )
Tα .pbs δεν σου κάνουν την δουλειά;
Δεν έχω καταλάβει σε πιο κομμάτι δεν καλύπτεσαι..
Δεν γνωρίζω κάτι πάνω στο κομμάτι του video που αναφέρεις.
Προσδιόρισε τι ακριβώς δεν σου βγαίνει..

[Λήσταρχος Γιαγκούλας]

Ερώτηση σε όσους προχώρησαν στο MPI:
Εχει νόημα να βάλουμε σε γενικές γραμμες send,recv αντί για lsend,lrecv
(Blocking ή non-blocking?)
Γενικά πιστεύετε ότι θα χρειαστούν ιδιαίτερα διαφορετικές συναρτήσεις πέρα από τι κλασσικές?
send ,recv, bcast alltoall κλπ?

χωρις να εχω κανει mpi, κανω τις εξης υποθεσεις:

για το κομματι της αρχικης ανταλλαγης κουτιων μεταξυ processes, φανταζομαι εξαρταται παρα πολυ απο το πως επιλεξεις να κανεις τις επικοινωνιες, δηλαδη με ποια σειρα και πως θα τα στελνεις (πχ η εργασια Χ στελνει πρωτα στην εργασια 0, μετα σητν εργασια 1, κλπ).
Το send, κατα την γνωμη μου, θα πρεπει να ειναι blocking, ωστε να πρεπει να αποσταλει το καθε πακετο για να "ξεμπερδευουμε" με αυτο, ενω το receive non blocking ωστε να μην περιμενεις μια αποστολη τζαμπα πολυ ωρα.
 αλλα φανταζομαι με λιγο καλο συγχρονισμο των διεργασιων σε αυτο το σημειο, και με την επινοηση ενος εξυπνου τροπου επιλογης του σε ποιον να στελνει καθε φορα η διεργασια και με ποια σειρα, τοτε δεν θα υπαρξει ιδιαιτερο θεμα (bottlenecks Κλπ)

για το σημειο του search, ειναι πιο ξεκαθαρο οτι το send πρεπει να ειναι blocking, ωστε να περιμενει η διεργασια να γινει η αναζητηση σε γειτονικο κουτι, καθως χρειαζεται αμεσα το αποτελεσμα
ενω το receive να μην ειναι blocking καθως μπορει να μην εχει ζητησει κανεις επικοινωνια με την συγκεκριμενη διεργασια

Eυχαριστώ για τα σχόλια φίλε,μόλις προχωρήσω θα γράψω και γω κάτι πάνω σε αυτό.
Εχεις μήπως κάποιους ενδεικτικούς χρόνους κάποιας serial implementation πάνω στις προδιαγραφές που δίνονται;

[rspappas]

~28sec για 2^21 σημεια Q και C, 2^16 κουτια σε 1 process
~40sec για 2^21 σημεια Q και C, 2^14 κουτια σε 1 process
~85sec για 2^21 σημεια Q και C, 2^12 κουτια σε 1 process

~65sec για 2^22 σημεια Q και C, 2^16 κουτια σε 1 process

αυτοι ειναι local χρονοι (με ι3) και οχι στο γκριντ

περισσοτερα σημεια τοπικα, απλα βαριεμαι να περιμενω

[Xleboniaris]

Αν γνωρίζει κάποιος παρακαλώ ας βοηθήσει,

Έχω σε έναν πίνακα float **initial_points, τα N/P τυχαία σημεία μιας διεργασίας. Ο πίνακας αυτός είναι μεγέθους [N/P γραμμές]x[3 στήλες], ώστε οι συντεταγμένες κάθε σημείου να αποθηκεύονται συνεχόμενα στην μνήμη (μου φαίνεται κάθε γραμμή αποθηκεύεται συνεχόμενα στην μνήμη). Επιπλέον, τα σημεία αυτά είναι ταξινομημένα ανάλογα με την διεργασία στην οποία πρέπει να πάνε.

Επίσης, έχω και δυο πίνακες, τους *counts και *displs μεγέθους P. Ο πρώτος περιέχει πόσα σημεία του πίνακα initial_points πρέπει να πάρει η κάθε διεργασία, ενώ ο δεύτερος περιέχει τη θέση στον πίνακα initial_points, από την οποία πρέπει να αρχίσει να λαμβάνει μια διεργασία.

Αν μπορεί κάποιος, ας βοηθήσει με την σύνταξη της εντολής MPI_Alltoallv. Θέλω, με βάση τα στοιχεία που περιέχουν οι παραπάνω πίνακες, να στείλω γραμμές των 3 στηλών από κάθε μια διεργασία, σε κάθε άλλη. Βρήκα παράδειγμα, μόνο που αναφερόταν σε πίνακα μιας διάστασης. Έχω κάνει μια δοκιμή, όμως δεν πολύ βγάζω άκρη.

*** edit: Επίσης, για τους buffers στους οποίους θα αποθηκευτουν τα στοιχεία που θα λάβει μια διεργασία από τις άλλες, πρέπει να έχω ορίσει μέγεθος μνήμης πιο πριν? Η το κάνει μόνη της η Alltoallv????

[rspappas]

αντι να εχεις εναν δισδιαστατο πινακα για τις συντεταγμενες, σκεψου την πιθανοτητα να φτιαξεις ενα struct για τα σημεια, δηλαδη ενα struct με 3 floats μεσα, για τα χ,ψ.ζ
και μετα χρειαζεσαι μονο εναν μονοδιαστατο πινακα με στοιχεια αυτο το struct.

[greekoo]

αντι να εχεις εναν δισδιαστατο πινακα για τις συντεταγμενες, σκεψου την πιθανοτητα να φτιαξεις ενα struct για τα σημεια, δηλαδη ενα struct με 3 floats μεσα, για τα χ,ψ.ζ
και μετα χρειαζεσαι μονο εναν μονοδιαστατο πινακα με στοιχεια αυτο το struct.

Τότε όμως δεν θα πρέπει να δημιουργήσεις δικό σου MPI_Datatype ?

---------------

Χρησιμοποιώ αυτό το scriptaki για να κάνω qsub το job μου. Μήπως μπορεί να με βοηθήσει κανείς στην σύνταξη της for ώστε να τρέξει το job για όλους τους συνδυασμούς Ν και numboxes(n*m*k) για δεδομένο αριθμό tasks (nodes*ppn) ?

#!/bin/sh
#PBS -q auth
#PBS -N mpi-myprogram
#PBS -j oe
#PBS -l nodes=16:ppn=4

cd $PBS_O_WORKDIR
export NP=$(cat $PBS_NODEFILE | wc -l)

export I2G_MPI_TYPE=mpich2
export I2G_MPI_APPLICATION=myprogram
export I2G_MPI_APPLICATION_ARGS="ProtoOrisma DefteroOrisma"  #οπου το πρώτο όρισμα είναι η δύναμη του Ν, και το δεύτερο η δύναμη του numboxes=(n*m*k)

for arg in ??????
do
     export I2G_MPI_APPLICATION=myprogram>results.$arg
        export I2G_MPI_APPLICATION_ARGS=$arg
        $I2G_MPI_START

done