[Παράλληλα και Διανεμημένα Συστήματα] Εργασία 2 - 2017

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[12:00-13:30]

Η γραμματεία είναι ανοιχτή καθημερινά 12:00-13:30

[allstarabey]

Κάθε process στέλνει τα σημεία που έχει στο επόμενο process και παίρνει ένα πίνακα με νέα σημεία από το προηγούμενο.

Και εγω αυτό σκεφτηκα
θα πρεπει να γινονται συνολικα -αν δεν κανω λαθος- numtasks  σε αριθμο αποστολες για να μετρηθουν οι αποστασεις ολων με ολων
η συνθηκη για να τελειωσει αυτη η συνεχης αποστολη ποια θα ειναι?


επισης ,καθε Process οταν τρεχει αν εχει μια μεταβλητη Κ αυτη για καθε process ειναι σε διαφορετικη θεση μνήμης ή ολα τα Processes αναφέρονται στην ίδια θέση μνήμης για αυτή τη μεταβλητή.

[Apostolof]

Και εγω αυτό σκεφτηκα
θα πρεπει να γινονται συνολικα -αν δεν κανω λαθος- numtasks  σε αριθμο αποστολες για να μετρηθουν οι αποστασεις ολων με ολων
η συνθηκη για να τελειωσει αυτη η συνεχης αποστολη ποια θα ειναι?


επισης ,καθε Process οταν τρεχει αν εχει μια μεταβλητη Κ αυτη για καθε process ειναι σε διαφορετικη θεση μνήμης ή ολα τα Processes αναφέρονται στην ίδια θέση μνήμης για αυτή τη μεταβλητή.

Νομίζω είναι numtasks-1. Πχ για 6 processes το κάθε ένα έχει αρχικά 10000 σημεία και για να πάρει τα υπόλοιπα πρέπει να κάνει 5 receives. Δε χρειάζεται κάποιο περίπλοκο έλεγχο/σύστημα. Μπορείς να το υλοποιήσεις με μία απλή for(int part=0; part<numtasks-1; ++part).

Για τη μεταβλητή που ρωτάς, τελείως εμπειρικά, ναι είναι σε διαφορετική θέση. Δε ξέρω τι παίζει με τις global ή αυτές που έχουν δηλωθεί πριν το init.

Πόσο χρόνο σας παίρνει για όλα τα σημεία με k=60000 (και 16 processes);

Καμία ιδέα για τον έλεγχο των αποτελεσμάτων; Όταν τελειώσει ο αλγόριθμος αποθηκεύετε τα αποτελέσματα σε κάποιο αρχείο;

[allstarabey]

το task me rank =0 στελνει σε καθε task το μερος ενος πινακα.
μετα το καθε task στελνει το δικο του στους αλλους

η ερωτηση μου ειναι στο 2ο send receive απο τον καθενα προς τους αλλους
θελω να κανω πραξεις με το μερος του καθε πινακα που ειναι το ατομικο με αυτο που ερχεται από το άλλον
-αυτο που ερχεται απο το αλλο task Μπορει να αποθηκευτει καπως ετσι?

//παραδειγμα μεταξυ 2 task

int data [20] , data_received[5];
if ( rank ==0 ){

  MPI_Send(&data, 5, MPI_INT, 1, 0, MPI_COMM_WORLD);

}else{   
     
  MPI_Recv(&data_received,5, MPI_INT, 0, 0, MPI_COMM_WORLD, &status);
}

λογικα οχι ,απλα στερεψα απο ιδέες

[Argirios]

η κάθε διεργασία θα στέλνει μόνο στην επόμενη της και θα δέχεται από την προηγούμενη ή αντίστροφα, νομίζω έτσι ζητάει

[WashAndGo]

διαβάζουμε όλον τον πίνακα από το αρχείο και μετά δίνουμε κομμάτια του στο καθε procces ή το κάθε process διαβάζει από το αρχείο το κομμάτι που του αντιστοιχεί. Και αν το δεύτερο, τότε τι offset χρησιμοποιούμε;

[Argirios]

το κάθε process διαβάζει μόνο τα σημεία που του αντιστοιχούν και αφού κάνει ότι είναι να κάνει για το knn τα στέλνει στο επόμενο process, όταν όλα τα block σημείων έχουν περάσει από όλα τα process έχεις τελειώσει με την αναζήτηση. δοκίμασε αυτό που έχει εδώ στην πρώτη απάντηση με το MPI I/O, εγώ έτσι το έχω και νομίζω δουλεύει σωστά
https://stackoverflow.com/questions/7603916/error-during-reading-and-writing-test-file-in-simple-mpi-code

[feoudarxhs]

Έμαθες κάτι για αυτό; Ζητάω 24 πυρήνες για 8sec και δε μου τους δίνει

Εξαρτάται για ποιο πράγμα ρωτάς.

Επειδή το έψαξα για λόγους περιέργειας, οι κόμβοι πάνω στο HellasGrid έχουν ο καθένας τα δικά του limit. Δηλαδή αν εγώ στο .jdl δηλώσω ότι θέλω 128 CPUs, η glite-wms-job-match-list θα μου δείξει απλά ποιος κόμβος αναφέρεται με τόσα CPUs (ότι το cluster από πίσω δηλαδή έχει τόσους πυρήνες). Το πρόβλημα είναι ότι διαφορετικός αριθμός CPUs είναι δηλωμένος συνολικά και διαφορετικός αριθμός CPUs (ένα μέρος του cluster μόνο), χρησιμοποιείται για τις ανάγκες του HellasGrid. Δηλαδή μπορεί μεν να επιλέξω να τα στείλω στο cluster του AΠΘ το οποίο το βγάζει με 500 cores, το submit θα γίνει, αλλά στα αποτελέσματα θα λάβω error.

Τώρα για την τοπική υποβολή στο cluster του ΑΠΘ (μέσω του μηχανισμού qsub), τα resources εξαρτώνται από την queue στην οποία βρίσκεσαι. Μπορείς να δεις τι έχει η κάθε queue χρησιμοποιώντας την "qsub -Qf <queue_name>". Απ' ότι είδα όμως για τον τρόπο λειτουργίας του scheduler, τουλάχιστον όπως χρησιμοποιείται σε άλλα clusters για τα οποία βρήκα αρκετό υλικό και υποθέτω πως ανάλογα χρησιμοποιείται και στα cluster του ΑΠΘ, το scheduling εξαρτάται από:

• 1. Χρόνος που έχεις χρησιμοποιήσει ως χρήστης γενικά το cluster.
• 2. Resources που ζητάς.
• 3. Balance των resources που ζητάς. Αν έχεις αρνητικό balance πάει αρκετά πίσω, δίχως για την ώρα να μπορώ να σου απαντήσω με βάση ποιον αλγόρθμο υπολογίζεται.
• 4. Walltime που ζητάς.

Με βαρύτητα τη σειρά με την οποία τα γράφω.

[Apostolof]

Αναλυτικότατος! Ευχαριστώ. Τελικά (μάλλον) ήταν το θέμα του cluster που ανέφερε και ο Φλώρος στην ανακοίνωση για τη παράταση και για αυτό δε μου έδινε. Πλέον μπορώ να τρέξω σε 32 πυρήνες.

Από χρόνο πως πάτε; Έχω την εντύπωση ότι ο κώδικάς μου τρέχει πολύ αργά.

[Argirios]

Εγώ δε προλαβαίνω καν να το τρέξω, με πετάει το wallclock όσες φορές δοκίμασα με 20 πυρήνες και κάτω... θα δοκιμάσω και με 32!
εδιτ: τελικά έπρεπε να βάλω μεγαλύτερο wallclock στο PBS, έτρεξε!!
220-280 sec στους 30 πυρήνες, εσείς πόσο είστε?

[feoudarxhs]

Μέχρι πόσους πυρήνες θέλει μέτρηση για το μάθημα; 32 ή παραπάνω;

[Apostolof]

Εγώ δε προλαβαίνω καν να το τρέξω, με πετάει το wallclock όσες φορές δοκίμασα με 20 πυρήνες και κάτω... θα δοκιμάσω και με 32!
εδιτ: τελικά έπρεπε να βάλω μεγαλύτερο wallclock στο PBS, έτρεξε!!
220-280 sec στους 30 πυρήνες, εσείς πόσο είστε?

Εγώ μετράω σε ώρες
Και φαίνεται να είναι όλα στον υπολογισμό των αποστάσεων, τι μπορεί να κάνω τόσο χάλια εκεί;

[Argirios]

Εγώ μετράω σε ώρες
Και φαίνεται να είναι όλα στον υπολογισμό των αποστάσεων, τι μπορεί να κάνω τόσο χάλια εκεί;

ώρες για σένα ή για το hellasgrid? εγώ μετράω την κανονική ώρα όχι την υπολογιστική
εμένα θέλει περίπου 2 ώρες στο hellasgrid

[Apostolof]

ώρες για σένα ή για το hellasgrid? εγώ μετράω την κανονική ώρα όχι την υπολογιστική
εμένα θέλει περίπου 2 ώρες στο hellasgrid

Δυστυχώς μιλάω για κανονικές ώρες.. Τον πίνακα με τις αποστάσεις τον ταξινομείς; Και αν ναι πως, qsort ή σε κάθε προσθήκη σπρώχνεις τα υπόλοιπα στοιχεία πιο κάτω στον πίνακα;

[mtzikara]

Έλεγχο ορθότητας πώς κάνετε;

[Argirios]

Δυστυχώς μιλάω για κανονικές ώρες.. Τον πίνακα με τις αποστάσεις τον ταξινομείς; Και αν ναι πως, qsort ή σε κάθε προσθήκη σπρώχνεις τα υπόλοιπα στοιχεία πιο κάτω στον πίνακα;

Κάθε φορά που βρίσκω τις αποστάσεις ενός σημείου με τα υπόλοιπα ταξινομώ αυτή τη σειρα με qsort. Αλλά κάθε φορά βρίσκω τις αποστάσεις ενός σημείου με ένα κομμάτι τον υπολοίπων όχι με όλα ταυτόχρονα, δε ξέρω αν βοηθάει ίσως να είναι και πιο αργό, ίδια τεχνική σαν αυτό που γίνεται παράλληλα αλλά στον ίδιο πυρήνα. Γίνοντε αρκετές χιλιάδες qsort αλλά σε πολύ μικρούς πίνακες.
Πάντως σιγουρέψου ότι τα send και receive γίνονται σωστά, ίσως να κολάει εκεί, περίεργο να θέλει τόσες ώρες.

Έλεγχο ορθότητας πώς κάνετε;

ούτε εγώ έχω βρεί πως να το κάνω αυτό