[Παράλληλα & Διανεμημένα] 2η εργασία

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Πληροφορίες Καθηγητών]

Πληροφορίες Καθηγητών

[arashi]

Για τέτοιο μέγεθος προβλήματος νομίζω ότι είναι προφανές πως μιλάμε για εξάντληση όλων των επαναλήψεων

Σε αυτο το μεγεθος δλδ 10^6/8 εγω τερματιζω για 21-22 επαναληψεις

[AgentCain]

 
για threshold 0.001 και με τον ίδιο αριθμό διαστάσεων και clusters?

[DoomGuard]

Για τέτοιο μέγεθος προβλήματος νομίζω ότι είναι προφανές πως μιλάμε για εξάντληση όλων των επαναλήψεων

Σε αυτο το μεγεθος δλδ 10^6/8 εγω τερματιζω για 21-22 επαναληψεις

Αν έχω καταλάβει σωστά το μέγεθος παραμένει 10^6 απλά μοιράζετε σε Ν αριθμό από processes

Δηλαδή ο αριθμός των επαναλήψεων στις οποίες τερματίζει το πρόγραμμα πρέπει να είναι κατά μέσο όρο οι ίδιος με

αυτόν του σειριακού προγράμματος, για ίδιο αριθμό στοιχείων διαστάσεων και clusters.

[mitsos_dlx]

Και εμένα για 1000000x32 στοιχεία κάνει πάντα 50 επαναλήψεις...
Επίσης περιπου σταθερό μένει και το άθροισμα των αποστάσεων όταν τερματίζει (2,4 εκατομμύρια περίπου)...

Για λιγότερα τερματίζει πιο νωρίς αλλά δεν τηρήται σωστά το threshold=0.001
Ακόμα και στο σειριακό που έδωσε μπορέι να τερματίζει πχ στην 20η επανάληψη αλλά με διαφορά 0.005 ή 0.004...

[arashi]

Και εμένα για 1000000x32 στοιχεία κάνει πάντα 50 επαναλήψεις...
Επίσης περιπου σταθερό μένει και το άθροισμα των αποστάσεων όταν τερματίζει (2,4 εκατομμύρια περίπου)...

Για λιγότερα τερματίζει πιο νωρίς αλλά δεν τηρήται σωστά το threshold=0.001
Ακόμα και στο σειριακό που έδωσε μπορέι να τερματίζει πχ στην 20η επανάληψη αλλά με διαφορά 0.005 ή 0.004...

Γιαυτο ειπα εξαρχης οτι μπορει και οι δυο να κανουμε πχ 4 σεκ αλλα....

Ειρηνη ημιν λεμεεεε (και υμιν) 

[Time_Tripper]

Παιδια να ρωτησω, μεσα στον τελικο χρονο περιλαμβανετε και το χρονο που κανει το αρχικο μοιρασμα (και το τελικο). Γιατι ετσι οπως ειναι γραμμενος ο κωδικας του Πιτς μετραει μονο το χρονο της cluster...

[AgentCain]

Μόνο το χρόνο του clustering
Υποθέτεις ότι το κάθε σύστημα έχει τα απαραίτητα δεδομένα για να κάνει τη δουλειά του και στην ουσια θες να μετρησεις το χρονο εκτελεσης του αλγοριθμου αυτου καθαυτου
Η μονη επιβάρυνση λόγω επικοινωνιων οφείλεται στην επικοινωνία όλοι με ολους

[DoomGuard]

Παιδια να ρωτησω, μεσα στον τελικο χρονο περιλαμβανετε και το χρονο που κανει το αρχικο μοιρασμα (και το τελικο). Γιατι ετσι οπως ειναι γραμμενος ο κωδικας του Πιτς μετραει μονο το χρονο της cluster...

Εγώ δεν μετράω το αρχικό μοίρασμα των δεδομένων , το τελικό όμως το μετράω.

Με το σκεπτικό ότι αν το κεντρικό process δεν έχει τα αποτελέσματα δλδ τον πίνακα members του data_in

 δεν μπορείς να πεις ότι έχεις τελειώσει.

[Time_Tripper]

Εγώ δεν μετράω το αρχικό μοίρασμα των δεδομένων , το τελικό όμως το μετράω.

Με το σκεπτικό ότι αν το κεντρικό process δεν έχει τα αποτελέσματα δλδ τον πίνακα members του data_in

 δεν μπορείς να πεις ότι έχεις τελειώσει.

Ενα ποιντ το εχεις αλλα παλι, αν μαζεψεις τα αρχεια σε εναν (ρουτ) παλι χανεις το νοημα του μπι. Θεωρητικα ολα τα σημεια πουθενα δεν ειναι μαζεμενα και ο καθενας ξερει μονο για τα δικα του που βρισκονται.

Χμμμμ μπερδευτικα....

[DoomGuard]

Εγώ δεν μετράω το αρχικό μοίρασμα των δεδομένων , το τελικό όμως το μετράω.

Με το σκεπτικό ότι αν το κεντρικό process δεν έχει τα αποτελέσματα δλδ τον πίνακα members του data_in

 δεν μπορείς να πεις ότι έχεις τελειώσει.

Ενα ποιντ το εχεις αλλα παλι, αν μαζεψεις τα αρχεια σε εναν (ρουτ) παλι χανεις το νοημα του μπι. Θεωρητικα ολα τα σημεια πουθενα δεν ειναι μαζεμενα και ο καθενας ξερει μονο για τα δικα του που βρισκονται.

Χμμμμ μπερδευτικα....

Χμμμ δεω ξερω. Καλύτερο θα ήταν να ρωτήσουμε τον Πιτσιάνη για σίγουρα.

[AgentCain]

MPI I/O

The purpose of MPI/IO is to provide high performance, portable, parallel I/O interface to high performance, portable, parallel MPI programs. Parallel I/O is not a daily bread. Although some supercomputer systems in the past offered parallel disk subsystems, e.g., the Connection Machine CM5 had a Scalable Disk Array, SDA, the Connection Machine CM2 had the Data Vault and IBM SP had PIOFS and today it has GPFS, communication with those peripherals was architecture and operating system dependent.
...
MPI/IO files are shared, i.e., multiple processes running on multiple CPUs can operate on a single MPI/IO file all at the same time. The file may be spread over the disk systems that belong to those CPUs or it may be spread over some other parallel disk system which can be accessed by the CPUs over parallel communication channels.
...

Υπάρχουν άλλα εργαλεία για το θέμα των δεδομένων. Πιστεύω ότι είναι αποδεκτό στα πλαίσια της εργασίας να θεωρήσουμε ότι τα δεδομένα με κάποιο τρόπο βρέθηκαν στους κόμβους MPI και με κάποιο τρόπο αυτα θα μαζευτούν κάπου.
Δλδ μπορεί να μη χρειάζεται καν να αποσταλούν τελικά δεδομένα (κοινό Ι/Ο αρχείο) ή να αποσταλούν από όλους σε κοινό χώρο σε μικρή απόσταση με ταχύτατο δίκτυο (και άρα χρόνος μετάδοσης αμελητέος)

[arashi]

Εγώ δεν μετράω το αρχικό μοίρασμα των δεδομένων , το τελικό όμως το μετράω.

Με το σκεπτικό ότι αν το κεντρικό process δεν έχει τα αποτελέσματα δλδ τον πίνακα members του data_in

 δεν μπορείς να πεις ότι έχεις τελειώσει.

Ενα ποιντ το εχεις αλλα παλι, αν μαζεψεις τα αρχεια σε εναν (ρουτ) παλι χανεις το νοημα του μπι. Θεωρητικα ολα τα σημεια πουθενα δεν ειναι μαζεμενα και ο καθενας ξερει μονο για τα δικα του που βρισκονται.

Χμμμμ μπερδευτικα....

Ειναι ακριβως αυτο που ειπε ο διδακτορικος στο μαθημα πριν τα χριστουγεννα

ποτε δεν θες να πανε ολα τα δεδομενα σε ενα μερος, για λογους ασφαλειας, κτλ κτλ

τωρα εμεις βεβαια κανουμε εξομοιωση , παντως σιγουρα μετραμε το χρονο του clustering μονο

αφου θελουμε να μετρησουμε ποσο πιο γρηγορα λυνεται το προβλημα και οχι αμα εχουμε γρηγορο δικτυο

[Time_Tripper]

Ωραια τοτε μονο το clustering μας ενδιαφερει ο χρονος του οποτε κλαιν!!

Να ρωτησω και κατι αλλο? Μη με βρισετε αλλα δεν μπορω να καταλαβω πως χρησιμοποιουμε τον Διαδη...
Δηλαδη μπαινω οκ, με λιγο απο δω απο κει αντεγραψα τα αρχεια αλλα οταν παω να το τρεξω μου πεταει ερρορ!! Παω να κανω deamon εκει αλλα δε μ'αφηνει γιατι δεν αναγνωριζει το mpd. Ακολουθω και τις οδηγιες που εδωσε ο Πιτς για το mpd παλι τζιφος...στον τελος θα τον καταστρεψω με φαινεται...
Α και πως αλλαζω το password μου να το βαλω αυτο που θελει ο Πιτς?
Αυτα τα ολιγα, εψαξα στα προηγουμενα ποστ και δεν βρηκα καπου να τα λεει ξεκαθαρα τι κανουμε οποτε σορρυ αν εχουν γραφτει αλλου
Τι να κανουμε, τωρα ασχολουμε πρωτη φορα με ssh ειμαι n00b..

[AgentCain]

Να ρωτησω και κατι αλλο? Μη με βρισετε αλλα δεν μπορω να καταλαβω πως χρησιμοποιουμε τον Διαδη...
Δηλαδη μπαινω οκ, με λιγο απο δω απο κει αντεγραψα τα αρχεια αλλα οταν παω να το τρεξω μου πεταει ερρορ!! Παω να κανω deamon εκει αλλα δε μ'αφηνει γιατι δεν αναγνωριζει το mpd.

Και γω που δε πολυασχολούμαι με unix συστήματα, δε το βρήκα ιδιαίτερα πολύπλοκο
Βάζεις το κώδικά σου και ενώ είσαι συνδεδεμένος, κάνεις κανονικά compile
Αν σου πετάξει σφάλματα θα οφείλεται στο κώδικα. Εμένα πχ δε μου έτρεχε, διόρθωσα τα warnings και αλλαξα λιγο τη λογική και έτρεξε. Αλλά σε αυτό έφταιγε η παλιά έκδοση του mpich2 

[Time_Tripper]

κανεις deamon κανονικα?? Γιατι εμενα κ εκει μου πετουσε ερρορ...