[Παράλληλα και Διανεμημένα Συστήματα] Εργασία 2 - 2017

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Πληροφορίες Καθηγητών]

Πληροφορίες Καθηγητών

[Apostolof]

Κάθε φορά που βρίσκω τις αποστάσεις ενός σημείου με τα υπόλοιπα ταξινομώ αυτή τη σειρα με qsort. Αλλά κάθε φορά βρίσκω τις αποστάσεις ενός σημείου με ένα κομμάτι τον υπολοίπων όχι με όλα ταυτόχρονα, δε ξέρω αν βοηθάει ίσως να είναι και πιο αργό, ίδια τεχνική σαν αυτό που γίνεται παράλληλα αλλά στον ίδιο πυρήνα. Γίνοντε αρκετές χιλιάδες qsort αλλά σε πολύ μικρούς πίνακες.
Πάντως σιγουρέψου ότι τα send και receive γίνονται σωστά, ίσως να κολάει εκεί, περίεργο να θέλει τόσες ώρες.
ούτε εγώ έχω βρεί πως να το κάνω αυτό

Ευχαριστώ πολύ για τις απαντήσεις

[mtzikara]

Μου απάντησε ο Φλώρος για τον ελεγχο των αποτελεσμάτων, να γινει με τον πίνακα index απο το matlab

[Argirios]

Μου απάντησε ο Φλώρος για τον ελεγχο των αποτελεσμάτων, να γινει με τον πίνακα index απο το matlab

το label μήπως? δε βλέπω κανένα άλλο
ή τα αποτελέσματα που βγάζει το matlab?

[Goemon]

το label μήπως? δε βλέπω κανένα άλλο
ή τα αποτελέσματα που βγάζει το matlab?

Το label είναι η ετικέτα της "κλάσης" στο οποίο ανήκει το σημείο και δεν είναι μοναδική. Πολλά σημεία ανήκουν στην 3, αλλα στη κλάση 6 κοκ. Στην προκειμένη περίπτωση, για την εκτέλεση του KNN δεν μας αφορά.

Το index μπορεί να αξιοποιηθεί ως μοναδική ταυτότητα του κάθε σημείου, με αποτέλεσμα να μπορεί κανεις να συγκρίνει αν τα αποτελέσματα των KNN σημείο-προς-σημείο, χωρίς να μπαίνει στην διαδικασία να συγκρίνει και να αποθηκεύει τις ίδιες τις συντεταγμένες του σημείου

EDIT: Τα Indeces και Dist είναι η έξοδος του knn του matlab, οπότε βγάζει νόημα να φτιάξετε το knn με αυτό το πρότυπο ωστέ να τα συγκρίνεται τσακ-μπαμ

[Goemon]

Μπορεί κανένας να δώσει ένα χέρι βοήθειας με τα jobs στο Hellasgrid?

Δεν το έχω καταφέρει να τρέξει...

Το σφάλμα μου είναι

Code:

[mpiexec@wn019.grid.auth.gr] verify_arguments (./ui/mpiexec/utils.c:1110): no executable specified
[mpiexec@wn019.grid.auth.gr] HYD_uii_mpx_get_parameters (./ui/mpiexec/utils.c:1290): argument verification failed

αλλά δεν μπορώ να εξακριβώσω το γιατί (έχω δοκιμασει και με το Μpi-start-wrapper.sh και με την mpiexec)


 

[Argirios]

Τι σκριπτ βάζεις στο qsub? Εγώ αυτό έχω και δουλεύει. Έχεις το script.sh και το executable και κάνεις "qsub script.sh".

#!/bin/bash
#PBS -q pdlab
#PBS -N mpi-mm
#PBS -j oe
#PBS -l nodes=1:ppn=30,walltime=04:00:00

module load openmpi
cd $PBS_O_WORKDIR

mpiexec -np $PBS_NP ./arxio

[Goemon]

Τι σκριπτ βάζεις στο qsub? Εγώ αυτό έχω και δουλεύει. Έχεις το script.sh και το executable και κάνεις "qsub script.sh".

Και εγώ το γύρισα στη πιο απλή μορφή και μου ψιλο-δουλεύει τώρα... (τρέχει αλλά δεν ανοίγει το αρχείο. Κάτι τρέχει με τα paths). ΤΟ script είναι ίδιο με το δικό σου

Παίζει να ξες τη φάση με το PBS_WORKDIR? Γιατί δεν καταλαβαίνω πως προκύπτει και από που έρχεται.

Νομίζω πως αν καταλάβω αυτό την έχω κάνει ταράτσα

[Argirios]

Και εγώ το γύρισα στη πιο απλή μορφή και μου ψιλο-δουλεύει τώρα... (τρέχει αλλά δεν ανοίγει το αρχείο. Κάτι τρέχει με τα paths). ΤΟ script είναι ίδιο με το δικό σου

Παίζει να ξες τη φάση με το PBS_WORKDIR? Γιατί δεν καταλαβαίνω πως προκύπτει και από που έρχεται.

Νομίζω πως αν καταλάβω αυτό την έχω κάνει ταράτσα

Το PBS_WORKDIR νομίζω είναι το path από όπου έτρεξες το qsub. Δε το έψαξα και πολύ, τα έβαλα όλα στο home/argirios και τα έτρεξα από εκεί, χωρίς φακέλους και τέτοια.

[Goemon]

Το PBS_WORKDIR νομίζω είναι το path από όπου έτρεξες το qsub. Δε το έψαξα και πολύ, τα έβαλα όλα στο home/argirios και τα έτρεξα από εκεί, χωρίς φακέλους και τέτοια.

αααμ... ΑΑΑΑΑΑΑΑΑΑΑΑ!

θενξ! 

[dinis]

Αν κατάλαβε κάποιος ας μου διευκρινίσει την εξής απορία:

Κάθε process έστω ότι θα λαμβάνει 100 x 30 σημεία και θα υπολογίζει για το καθένα τα Κ κοντινότερα του (γ' αυτά τα 100), και τα αποθηκεύει στις αντίστοιχες θέσεις σ' έναν πίνακα KNN[60.000][K].
Μετά θα στέλνει αυτόν τον πίνακα στο επόμενο process και θα συμπληρώνει τα δικά του σημεία στον πίνακα αυτόν ?

Αν είναι έτσι τότε το σημείο 1 αν βρίσκεται ποιο κοντά με το σημείο 101 (το οποίο θα το έχει λάβει το επόμενο process για επεξεργασία) δεν θα βρίσκεται κάπου  μέσα στον πίνακα ΚΝΝ ενώ θα έπρεπε.

Αυτό συμπέρανα απ την αναφορά και δεν μου φαίνεται σωστό. 

[Goemon]

Αν κατάλαβε κάποιος ας μου διευκρινίσει την εξής απορία:

Κάθε process έστω ότι θα λαμβάνει 100 x 30 σημεία και θα υπολογίζει για το καθένα τα Κ κοντινότερα του (γ' αυτά τα 100), και τα αποθηκεύει στις αντίστοιχες θέσεις σ' έναν πίνακα KNN[60.000][K].
Μετά θα στέλνει αυτόν τον πίνακα στο επόμενο process και θα συμπληρώνει τα δικά του σημεία στον πίνακα αυτόν ?

Αν είναι έτσι τότε το σημείο 1 αν βρίσκεται ποιο κοντά με το σημείο 101 (το οποίο θα το έχει λάβει το επόμενο process για επεξεργασία) δεν θα βρίσκεται κάπου  μέσα στον πίνακα ΚΝΝ ενώ θα έπρεπε.

Αυτό συμπέρανα απ την αναφορά και δεν μου φαίνεται σωστό. 

Όχι όχι:

Κάθε Process έχει ένα τοπικό dataSet X[100,30] ,και ένα dataSet που λαμβάνει/στέλνει από κάποιο άλλο process Xr, έστω διαστάσεων [120,30].

1) Υπολογίζεις KNN για το X ως προς το Xr -> KNN: [100: 5] (5 = k του knn)
2) Κάνεις Merge τον πίνακα KNNtemp με τον KNN. Κρατάς τα πρώτα Κ και από τους δύο.

Αυτά που στέλνεις είναι τα datasets (τα X). Όχι τους γείτονες.
Το  δεύτερο δεν είναι άσχημη ιδέα βέβαια. Αν γίενι σωστά παίζει να έχει καλά πλεονεκτήματα... αλλά σίγουρα αρκετά πιο μπελαλίδικο όμως για να γίνει σωστά

[dinis]

Όχι όχι:

Κάθε Process έχει ένα τοπικό dataSet X[100,30] ,και ένα dataSet που λαμβάνει/στέλνει από κάποιο άλλο process Xr, έστω διαστάσεων [120,30].

1) Υπολογίζεις KNN για το X ως προς το Xr -> KNN: [100: 5] (5 = k του knn)
2) Κάνεις Merge τον πίνακα KNNtemp με τον KNN. Κρατάς τα πρώτα Κ και από τους δύο.

Αυτά που στέλνεις είναι τα datasets (τα X). Όχι τους γείτονες.
Το  δεύτερο δεν είναι άσχημη ιδέα βέβαια. Αν γίενι σωστά παίζει να έχει καλά πλεονεκτήματα... αλλά σίγουρα αρκετά πιο μπελαλίδικο όμως για να γίνει σωστά

Oκ κατάλαβα, ευχαριστώ ! 

[Apostolof]

Κάθε Process έχει ένα τοπικό dataSet X[100,30] ,και ένα dataSet που λαμβάνει/στέλνει από κάποιο άλλο process Xr, έστω διαστάσεων [120,30].

Το κομμάτι του dataset που έχει το κάθε process έχει ίδιες διαστάσεις με τα κομμάτια που λαμβάνει. Αυτό περιορίζει και τον αριθμό των processes σε σχέση με το dataset (πρέπει το dataset να είναι διαιρέσιμο από τον αριθμό των processes).

Αυτό κατάλαβα εγώ από αυτά που είχε πει ο Φλώρος στο μάθημα και τις συζητήσεις τις τελευταίες μέρες.

Πχ για 3 processes τα σημεία θα κοπούν σε στους υποπίνακες A, B, C, ο καθένας με διαστάσεις 20,000Χ30. Το process P0 διαβάζει το A, το P1 το B και το P2 το C. Κάθε process φτιάχνει ένα πίνακα DIST 20,000Χ60,000 ανεξάρτητα από το k που έχει ζητήσει ο χρήστης.

Αρχικά κάθε process βρίσκει τις αποστάσεις για τους πρώτους 20,000 γείτονες με βάση το δικό του υποπίνακα (A, B ή C) και τις βάζει αταξινόμητες στον δικό του στον πίνακα DIST.

Έπειτα το P0 παίρνει το C από τον P2 και στέλνει το A στον P1. Ομοίως το P1 παίρνει το A και στέλνει το B και το P2 παίρνει το B και στέλνει το C. Καθένα ανανεώνει τον DIST με τα νέα σημεία που έχει. Αυτό γίνεται άλλη μία φορά, οπότε κάθε process έχει συμπληρώσει τον πίνακα DIST του.

Τέλος γίνεται ταξινόμηση σε κάθε γραμμή των DIST.

[Goemon]

Το κομμάτι του dataset που έχει το κάθε process έχει ίδιες διαστάσεις με τα κομμάτια που λαμβάνει. Αυτό περιορίζει και τον αριθμό των processes σε σχέση με το dataset (πρέπει το dataset να είναι διαιρέσιμο από τον αριθμό των processes).

Άμα δεν διαιρείτε τέλεια το dataset με τον αριθμό των Processes, υπάρχει ένα μικρό πλήθος από datapoints στο οποία θα διαφέρει το dataset.

Είναι λεπτομέρεια, αλλά εγώ το υλοποίησα σε κάθε περίπτωση να λαμβάνει δυναμικά μνμτα αγνώστου μεγέθους.

Παρόλαυτά ναι το μέγεθος του κάθε sub-dataset θα είναι λίγο πολύ ίδιου μεγέθους...

[Apostolof]

Άμα δεν διαιρείτε τέλεια το dataset με τον αριθμό των Processes, υπάρχει ένα μικρό πλήθος από datapoints στο οποία θα διαφέρει το dataset.

Είναι λεπτομέρεια, αλλά εγώ το υλοποίησα σε κάθε περίπτωση να λαμβάνει δυναμικά μνμτα αγνώστου μεγέθους.

Παρόλαυτά ναι το μέγεθος του κάθε sub-dataset θα είναι λίγο πολύ ίδιου μεγέθους...

Ακριβώς. Για αυτό το είπα, για να μη χρειάζεται αυτή η δουλειά. Ήταν στα ζητούμενα;
Btw πως το έκανες; Στέλνεις πρώτα το μέγεθος και μετά το dataset;