[Παράλληλα και Διανεμημένα Συστήματα] Εργασία 2 - 2017

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Admins]

Για αλλαγή του public name σας, επικοινωνήστε με έναν από τους Admins.

[Argirios]

Στο σύνολο των σημείων θα βρίσκει τους γείτονες. Απλά δε θα υπάρχει καμία χρονική στιγμή στην οποία ένας κόμβος θα έχει στη διάθεσή του το σύνολο των δεδομένων.

Α οκ, άρα κάτι τέτοιο που λέει ο johnvoyager μάλλον.

[menelaos619]

Καλησπέρα παιδιά και σορρυ για την "άκυρη" ερώτηση
Προλαβαίνω να παραδώσω την εργασία εαν ξεκινήσω τώρα? Είχα κάνει κάποια πράγματα πριν τις γιορτές αλλά τελικά ήταν λαθος και μετά δεν προλαβαίνα να ασχοληθώ με τα παράλληλα. Αξίζει να προσπαθήσω να την ξεκινήσω τώρα  ή δεν παίζει να προλάβω?
Ευχαριστώ

[johnvoyager]

Καλησπέρα παιδιά και σορρυ για την "άκυρη" ερώτηση
Προλαβαίνω να παραδώσω την εργασία εαν ξεκινήσω τώρα? Είχα κάνει κάποια πράγματα πριν τις γιορτές αλλά τελικά ήταν λαθος και μετά δεν προλαβαίνα να ασχοληθώ με τα παράλληλα. Αξίζει να προσπαθήσω να την ξεκινήσω τώρα  ή δεν παίζει να προλάβω?
Ευχαριστώ

Και εγώ στην ίδια φάση είμαι,  έχουμε 8 μέρες. Νομίζω βγαίνει άνετα.

[mytilisks]

Για να τρέξω την εργασία στο HellasGrid πρέπει να ανεβάσω εκεί, πέρα απο το script, τα αρχεία των δεδομένων και το εκτελέσιμο? Ή πρέπει να κάνω εκεί compile τον κώδικα με Makefile? Έχω διαβάσει τις οδηγίες του συνδέσμου[4] που έστειλαν αλλά δεν μπορώ να καταλάβω τι παίζει.

[alekosts]

Συγνώμη παιδία αλλά δυσκολευομαι με το hellasgrid.Προσπαθώ να γράψω ένα απλό script που να τρέχει ενα hello world πρόγραμμα και παίρνω συνεχώς αυτο το error:
qsub: Unauthorized Request MSG=group ACL is not satisfied: user atsiavos@ui3.afroditi.hellasgrid.gr, queue auth
Μήπως ξέρετε για ποιο λογο γινεται αυτο?

[feugatos_#]

Συγνώμη παιδία αλλά δυσκολευομαι με το hellasgrid.Προσπαθώ να γράψω ένα απλό script που να τρέχει ενα hello world πρόγραμμα και παίρνω συνεχώς αυτο το error:
qsub: Unauthorized Request MSG=group ACL is not satisfied: user atsiavos@ui3.afroditi.hellasgrid.gr, queue auth
Μήπως ξέρετε για ποιο λογο γινεται αυτο?

Στο mail που μας ήρθε από το HellasGrid αναφέρεται ξεκάθαρα το εξής:

Για την υποβολή εργασιών μπορείτε να χρησιμοποιήσετε την ουρά pdlab. Επομένως, θα χρειαστεί να αντικαταστήσετε την παρακάτω γραμμή (όπως δίνεται στα παραδείγματα για την υποβολή εργασιών στον σύνδεσμο [4])

#PBS -q auth

με την

#PBS -q pdlab

[alekosts]

Στο mail που μας ήρθε από το HellasGrid αναφέρεται ξεκάθαρα το εξής:

Για την υποβολή εργασιών μπορείτε να χρησιμοποιήσετε την ουρά pdlab. Επομένως, θα χρειαστεί να αντικαταστήσετε την παρακάτω γραμμή (όπως δίνεται στα παραδείγματα για την υποβολή εργασιών στον σύνδεσμο [4])

#PBS -q auth

με την

#PBS -q pdlab

Δε το πρόσεξα  . Σε ευχαριστώ πάρα πολύ.

[Apostolof]

Έτρεξα τον αλγόριθμο μου για τα 10 πρώτα σημεία (με 30 διαστάσεις). Είναι στο συνημμένο τα αποτελέσματα που έβγαλα σε μορφή:
point_one to point_two = distance^2

Ας επιβεβαιώσει κάποιος ότι το αποτέλεσμα είναι σωστό γιατί εδώ δεν έχω windows, ούτε matlab, ούτε καλό μηχάνημα.. Ούτε πολλές ελπίδες ότι θα τελειώσω εγκαίρως

Το octave δεν έχει knn ακόμα, σωστά;

[allstarabey]

περασα τα δεδομενα απο Mat σε txt και προσπαθω να τα διαβασω
μετα απο πολλες ωρες ,δεν μπορεσα να βρω λυση γιατι επειδη ειναι χωρισμενα με κομμα με το fscanf επαιρνα μονο την πρωτη τιμη
και μετα δεν επαιρνε τις επομενες.
τα δεδομενα ειναι στο συννημενο.
   for(i=0; i<N; i++){
         for(j=0; j<D; j++)
         {
            
            double  temp;
            fscanf(fp,"%lf\t",&temp);
            if (EOF == fscanf(fp,"%lf\t",&temp)){
               printf("ERROR Reading datapoint in %d row, %d column",i,j);
                                }
                       }   
   }         


Kαμια συμβουλη γιατι εχω παιδευτει αληθεια πολ ?

[Apostolof]

Στην fscanf έχεις βάλει \t αντί για ,.

Code:

#include <stdio.h>
#include <stdlib.h>

int main(int argc, char const *argv[]){
	double values[2][4];
	FILE *file = fopen( "file.txt", "r");

	for(int i = 0; i<2; ++i) {
		for(int j=0; j<4; ++j){
			fscanf(file, "%lf,", &values[i][j]);
			printf("%lf\n", values[i][j]);
		}
     }
 
    fclose(file);
    return 0;
}

[Apostolof]

Για να τρέξω την εργασία στο HellasGrid πρέπει να ανεβάσω εκεί, πέρα απο το script, τα αρχεία των δεδομένων και το εκτελέσιμο? Ή πρέπει να κάνω εκεί compile τον κώδικα με Makefile? Έχω διαβάσει τις οδηγίες του συνδέσμο

Εγώ για το compile έγραψα ένα απλό script και το τρέχω με qsub:

Code:

#!/bin/bash
#PBS -N someName
#PBS -q pdlab
#PBS -j oe
#PBS -l walltime=0:00:20

cd $PBS_O_WORKDIR

module load openmpi
mpicc args....

Καμία ιδέα για τον έλεγχο των αποτελεσμάτων; Όταν τελειώσει ο αλγόριθμος αποθηκεύετε τα αποτελέσματα σε κάποιο αρχείο;

[WashAndGo]

ευχαριστώ!

 

[dimvasdim]

Μπορεί κάποιος να μου πει τι θα πρέπει να στέλνουμε μεταξύ των processes; Εγώ σκέφτομαι ότι το κάθε process θα έχει ένα δισδιάστατο πίνακα με τα σημεία και τις διαστάσεις τους (δηλαδη τα δεδομένα) και αφού κληθεί η knn_search θα δημιουργεί δύο ακόμα δισδιάστατους πίνακες, έναν με τις αποστάσεις και έναν με τα indexes. Μετά όμως θα μπορώ να στείλω αυτούς τους πίνακες από το ένα process στο άλλο; Γενικά δίαβασα ότι δεν είναι σωστό να στέλνεις pointer σε mpi αφού κάθε process έχει την δικιά του μνήμη οπότε δεν έχει νόημα... Μήπως το σκέφτομαι τελείως λάθος και υπάρχει κάποιος πιο εύκολος τρόπος για να γίνει η επικοινωνία μεταξύ των processes;

[Apostolof]

Μόνο με scanf θα διαβαζουμε, δε χρειάζεται να κανουμε χρήση των εντολών της mpi για Ι/Ο?

MPI_File_open
MPI_File_read
....

 

Εγώ δε τα χρησιμοποίησα. Βασικά δεν ήξερα καν ότι υπάρχουν αυτά. Στο μάθημα δεν είπε κάτι οπότε υποθέτω είναι δικό σου θέμα αν θες να τα βάλεις.

Μπορεί κάποιος να μου πει τι θα πρέπει να στέλνουμε μεταξύ των processes; Εγώ σκέφτομαι ότι το κάθε process θα έχει ένα δισδιάστατο πίνακα με τα σημεία και τις διαστάσεις τους (δηλαδη τα δεδομένα) και αφού κληθεί η knn_search θα δημιουργεί δύο ακόμα δισδιάστατους πίνακες, έναν με τις αποστάσεις και έναν με τα indexes. Μετά όμως θα μπορώ να στείλω αυτούς τους πίνακες από το ένα process στο άλλο; Γενικά δίαβασα ότι δεν είναι σωστό να στέλνεις pointer σε mpi αφού κάθε process έχει την δικιά του μνήμη οπότε δεν έχει νόημα... Μήπως το σκέφτομαι τελείως λάθος και υπάρχει κάποιος πιο εύκολος τρόπος για να γίνει η επικοινωνία μεταξύ των processes;

Κάθε process στέλνει τα σημεία που έχει στο επόμενο process και παίρνει ένα πίνακα με νέα σημεία από το προηγούμενο.

[Apostolof]

Γνωρίζει κανείς μέχρι πόσα CPU Cores μπορείς να ζητήσεις από τα clusters του HellasGrid; Γενικά μέχρι τους 30 πυρήνες τα jobs μου γίνονται scheduled σχεδόν άμεσα και τρέχουν. Οταν ζητάω 50-60 παραμένουν scheduled επί ώρες και τρώω και error.

Ειναι limit που θέτει ο workload managment server και ποιο είναι αυτό;

Έμαθες κάτι για αυτό; Ζητάω 24 πυρήνες για 8sec και δε μου τους δίνει