[Παράλληλα και Διανεμημένα Συστήματα] Εργασία 2 - 2017

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[ονόματα των αρχείων]

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads

με προσοχή στα ονόματα των αρχείων!

[vag178]

τα labels πως τα διαβάζουμε? (από το αρχείο .bin)
προσπαθώ μέρες να βρω πως να φτιάξω τα labels και τελικά τα έχει έτοιμα στο αρχείο...  

α το βρήκα 

Νομίζω είχε πει ο Πιτσιάνης ότι δεν χρειάζονται τα labels

[Argirios]

Αφού τελικά αυτό ψάχνουμε, σε ποιο label ανήκει το κάθε σημείο απ'ότι κατάλαβα.

[vag178]

Αφού τελικά αυτό ψάχνουμε, σε ποιο label ανήκει το κάθε σημείο απ'ότι κατάλαβα.

Εγώ λέω για το label που έχει στο matlab (αυτά που έχουν τιμή από 1-10) γιατί μπορεί να λέμε για διαφορετικά πράγματα

[Argirios]

Εγώ λέω για το label που έχει στο matlab (αυτά που έχουν τιμή από 1-10) γιατί μπορεί να λέμε για διαφορετικά πράγματα

Και εγώ για αυτά λέω, τι άλλο να χρησιμοποιήσεις.

[vag178]

Αφού τελικά αυτό ψάχνουμε, σε ποιο label ανήκει το κάθε σημείο απ'ότι κατάλαβα.

Αυτό που ψάχνουμε είναι τους k κοντινότερους γείτονες για κάθε σημείο

[Argirios]

Αυτό που ψάχνουμε είναι τους k κοντινότερους γείτονες για κάθε σημείο

Αφού τους βρούμε, δε πρέπει να βρούμε και ποιό label εμφανίζεται περισσότερο σε αυτούς?

[vag178]

Αφού τους βρούμε, δε πρέπει να βρούμε και ποιό label εμφανίζεται περισσότερο σε αυτούς?

Νομίζω πως δεν χρειάζεται αλλά ας πει και κανένας άλλος μη σ κάψω

[dinis]

Πως καταφέρατε να γράψετε την έξοδο του προγράμματος σε αρχείο ?
Δοκίμασα το παρακάτω που έκανε και το παιδί σ ένα απλό hello world σε mpi και το μόνο που μου εκτυπώνει είναι τα echo.
Ότι έχω σε printf στο πρόγραμμα δεν τα γράφει.
Δοκίμασα να ανοίξω αρχείο στην C και δούλεψε απλά μ φαίνεται πολύ ποιο εύκολο με μια εντολή στο σκριπτακι.
Καμιά ιδέα ? 

echo "====test Run starts now ==== date"
mpiexec -np $PBS_NUM_NODES -ppn=1 ./a.out >$PBS_JOBNAME.log
echo "====test Run ends now ==== date"


Επίσης δοκίμασα και αυτό που δίνεται σε pdf και πάλι τίποτα:

export NP=$( cat $PBS_NODEFILE | wc - l )
exportI 2G_MPI_TYPE = mpich2
exportI 2G_MPI_APPLICATION = a.out
$I2G_MPI_START

[feoudarxhs]

Γνωρίζει κανείς μέχρι πόσα CPU Cores μπορείς να ζητήσεις από τα clusters του HellasGrid; Γενικά μέχρι τους 30 πυρήνες τα jobs μου γίνονται scheduled σχεδόν άμεσα και τρέχουν. Οταν ζητάω 50-60 παραμένουν scheduled επί ώρες και τρώω και error.

Εδώ οι διαθέσιμοι κόμβοι που υπάρχουν αυτή στιγμή στο SEE VO.

Code:

@ui3 ex2]$ lcg-infosites -vo see ce
#   CPU	   Free	Total Jobs	Running	Waiting	ComputingElement
----------------------------------------------------------------
    144	    138	         0	      0	      0	ce.grid.teiemt.gr:8443/cream-pbs-see
    144	    144	         0	      0	      0	ce.physics.science.az:8443/cream-pbs-see
      0	      0	         0	      0	      0	cox01.grid.metu.edu.tr:8443/cream-pbs-see
     16	     16	         0	      0	      0	cr1.ipp.acad.bg:8443/cream-pbs-seevo
     14	     14	         0	      0	      0	cream-ce01.ariagni.hellasgrid.gr:8443/cream-pbs-see
    400	    398	         3	      0	      3	cream-ce01.marie.hellasgrid.gr:8443/cream-pbs-see
     44	     44	         5	      0	      5	cream.afroditi.hellasgrid.gr:8443/cream-pbs-see
    312	    112	         0	      0	 444444	cream.ipb.ac.rs:8443/cream-pbs-see
    510	    247	        16	     11	      5	cream01.grid.auth.gr:8443/cream-pbs-see
    240	     73	         0	      0	      0	kalkan1.ulakbim.gov.tr:8443/cream-pbs-see
     66	     40	         0	      0	      0	snf-189278.vm.okeanos.grnet.gr:8443/cream-pbs-see

Και εδώ αυτά που κάνουν match το job που κάνω submit:

Code:

Connecting to the service https://wms02.athena.hellasgrid.gr:7443/glite_wms_wmproxy_server

==========================================================================

		     COMPUTING ELEMENT IDs LIST 
 The following CE(s) matching your job requirements have been found:

	*CEId*
 - cream-ce01.marie.hellasgrid.gr:8443/cream-pbs-see
 - cream.afroditi.hellasgrid.gr:8443/cream-pbs-see
 - snf-189278.vm.okeanos.grnet.gr:8443/cream-pbs-see
 - cream01.grid.auth.gr:8443/cream-pbs-see
 - cream.ipb.ac.rs:8443/cream-pbs-see

==========================================================================

Έχω δοκιμάσει να δεσμεύσω explicitly οποιοδήποτε από τα matching nodes.

Εδώ το error που δέχομαι:

Code:

======================= glite-wms-job-status Success =====================
BOOKKEEPING INFORMATION:

Status info for the Job : https://lb01.athena.hellasgrid.gr:9000/jim8Y1ApCsRXZf3Rf6xH9A
Current Status:     Aborted
Logged Reason(s):
    - BLAH error: submission command failed (exit code = 1) (stdout:) (stderr:qsub: submit error (Job exceeds queue resource limits MSG=cannot satisfy queue max procct requirement)-) N/A (jobId = CREAM633855862)
    - BLAH error: submission command failed (exit code = 1) (stdout:) (stderr:qsub: submit error (Job exceeds queue resource limits MSG=cannot satisfy queue max procct requirement)-) N/A (jobId = CREAM337959222)
    - BLAH error: submission command failed (exit code = 1) (stdout:) (stderr:qsub: submit error (Job exceeds queue resource limits MSG=cannot satisfy queue max procct requirement)-) N/A (jobId = CREAM122746662)
    - BLAH error: submission command failed (exit code = 1) (stdout:) (stderr:qsub: submit error (Job exceeds queue resource limits MSG=cannot satisfy queue max procct requirement)-) N/A (jobId = CREAM531944471)
    - BLAH error: submission command failed (exit code = 1) (stdout:) (stderr:qsub: submit error (Job exceeds queue resource limits MSG=cannot satisfy queue max procct requirement)-) N/A (jobId = CREAM325987241)
    - BLAH error: submission command failed (exit code = 1) (stdout:) (stderr:qsub: submit error (Job exceeds queue resource limits MSG=cannot satisfy queue max procct requirement)-) N/A (jobId = CREAM817972776)
    - BLAH error: submission command failed (exit code = 1) (stdout:) (stderr:qsub: submit error (Job exceeds queue resource limits MSG=cannot satisfy queue max procct requirement)-) N/A (jobId = CREAM624257868)
    - BLAH error: submission command failed (exit code = 1) (stdout:) (stderr:qsub: submit error (Job exceeds queue resource limits MSG=cannot satisfy queue max procct requirement)-) N/A (jobId = CREAM369324423)
    - BLAH error: submission command failed (exit code = 1) (stdout:) (stderr:qsub: submit error (Job exceeds queue resource limits MSG=cannot satisfy queue max procct requirement)-) N/A (jobId = CREAM794677337)
    - BLAH error: submission command failed (exit code = 1) (stdout:) (stderr:qsub: submit error (Job exceeds queue resource limits MSG=cannot satisfy queue max procct requirement)-) N/A (jobId = CREAM861410314)
    - BLAH error: submission command failed (exit code = 1) (stdout:) (stderr:qsub: submit error (Job exceeds queue resource limits MSG=cannot satisfy queue max procct requirement)-) N/A (jobId = CREAM162706781)
Status Reason:      hit job shallow retry count (10)
Destination:        snf-189278.vm.okeanos.grnet.gr:8443/cream-pbs-see
Submitted:          Thu Dec 28 17:08:28 2017 EET
==========================================================================

Ειναι limit που θέτει ο workload managment server και ποιο είναι αυτό;


Επίσης για κάποιο λόγο σήμερα δεν έχω πρόσβαση σε κανένα queue του τοπικού cluster του ΑΠΘ. Σε όλα τρώω authorization error. Ούτε auth, ούτε see, ούτε pdlab.

Code:

qsub: Unauthorized Request  MSG=group ACL is not satisfied: user ####sth####@ui3.afroditi.hellasgrid.gr, queue auth

Έχει κανείς άλλος τέτοιο πρόβλημα;

[alekosts]

Αφού τους βρούμε, δε πρέπει να βρούμε και ποιό label εμφανίζεται περισσότερο σε αυτούς?

Αρχικά και εγώ αυτό νόμιζα , αλλά έχω την εντύπωση ότι τελικά  το label  κάθε σημείου είναι το ίδιο με τους περισσότερους κοντινότερους γείτονες του (τουλάχιστον για τους 30 κοντινότερους γείτονες σε 30000 σημεία που το τέσταρα ) . Δηλαδή για όσα σημεία για παράδειγμα έχουν label 4 , θα έχουν και οι κ κοντινότεροι γείτονες label 4.Για αυτό δεν πρέπει να έχει σημασία, εκτός και αν έχω κάνει κάποιο λάθος στον αλγόριθμο μου. Είναι κανείς σίγουρος ;

[johnvoyager]

Εγώ έχω μπερδευτεί με την εκφώνηση.

Από ότι κατάλαβα χρησιμοποιούμε το ίδιο dataset και σαν testing και σαν training.Αυτό το κάνουμε για να τσεκάρουμε μετά την ορθότητα/ ακρίβεια ?
Άρα πιο από τα 2 θέλει να χωρίσουμε σε μικρότερα blocks;

Δηλαδή έχουμε 60000 σημεία που θέλουμε να τεστάρουμε,  και 60000 σημεία που έχουν έτοιμα labels.
 Άρα τί χωρίζουμε;

Το training ή το testing?

Δηλαδή π.χ. για τα 60000 σημεία που θέλουμε να τεστάρουμε ξεκινάμε ξέρω γω από το πρώτο και θέλουμε να βρούμε του κ κονινότερους γείτονες από τα 60000 σημεία του training. Αυτά τα 60000 θέλουμε να σπάσουμε σε μικτρότερα blocks; Ή το ανάποδο ;


edit:  δηλαδή για κάθε σημείο απο τα 60000 που (κανονικά) δεν έχουν label πρέπει να το τεστάρω( αποστάσεις και sort) με τα 60000 που έχουν label
αυτά τα 60000 που έχουν label τα χωρίζω ας πούμε σε 4 υποσύνολα και κάνω τις πράξεις παράλληλα και μετά θα έχω 4*κ αποστάσεις από τις οποίες πρέπει να κρατήσω τις κ μικρότερες κλπ και όλο αυτό είναι να γίνει 60000 φορές ;   καλά το κατάλαβα ή δεν ξέρω τί μου γίνεται; 

[feoudarxhs]

Εγώ έχω μπερδευτεί με την εκφώνηση.

Από ότι κατάλαβα χρησιμοποιούμε το ίδιο dataset και σαν testing και σαν training.Αυτό το κάνουμε για να τσεκάρουμε μετά την ορθότητα/ ακρίβεια ?
Άρα πιο από τα 2 θέλει να χωρίσουμε σε μικρότερα blocks;

Δηλαδή έχουμε 60000 σημεία που θέλουμε να τεστάρουμε,  και 60000 σημεία που έχουν έτοιμα labels.
 Άρα τί χωρίζουμε;

Το training ή το testing?

Δηλαδή π.χ. για τα 60000 σημεία που θέλουμε να τεστάρουμε ξεκινάμε ξέρω γω από το πρώτο και θέλουμε να βρούμε του κ κονινότερους γείτονες από τα 60000 σημεία του training. Αυτά τα 60000 θέλουμε να σπάσουμε σε μικτρότερα blocks; Ή το ανάποδο ;

Κανένας κόμβος δεν πρέπει να τα έχει όλα, για κανένα λόγο, όποιος και αν είναι αυτός. Στην πραγματική του χρήση, δε θα χρησιμοποιηθεί μια τέτοια υλοποίηση για datasets που στο desktop του σπιτιού θέλουν 60 secs για να γίνουν classified. Σκέψου λοιπόν να σου δώσω ένα dataset 500GB. Σε κανένα κόμβο δε θα έχεις τόση RAM ώστε να το φορτώσεις με τη μία.

[johnvoyager]

Κανένας κόμβος δεν πρέπει να τα έχει όλα, για κανένα λόγο, όποιος και αν είναι αυτός. Στην πραγματική του χρήση, δε θα χρησιμοποιηθεί μια τέτοια υλοποίηση για datasets που στο desktop του σπιτιού θέλουν 60 secs για να γίνουν classified. Σκέψου λοιπόν να σου δώσω ένα dataset 500GB. Σε κανένα κόμβο δε θα έχεις τόση RAM ώστε να το φορτώσεις με τη μία.

ααα οκ, κατάλαβα, είναι  θέμα μνήμης

ty

[Argirios]

Δηλαδή κάθε μπλοκ θα βρίσκει τους κοντινότερους γείτονες κάθε σημείου του μέσα στο συγκεκριμένο μπλοκ και όχι σε όλο το σύνολο των 60000 σημείων, σωστά?
εδιτ: εγώ όταν το τρέχω για 60000 σημεία σβήνει ο υπολογιστής πάντως  

η εκφώνηση πάντως τέρμα άθλια δεν εξηγεί τι θέλει ακριβώς  

[feoudarxhs]

Δηλαδή κάθε μπλοκ θα βρίσκει τους κοντινότερους γείτονες κάθε σημείου του μέσα στο συγκεκριμένο μπλοκ και όχι σε όλο το σύνολο των 60000 σημείων, σωστά?
εδιτ: εγώ όταν το τρέχω για 60000 σημεία σβήνει ο υπολογιστής πάντως  

η εκφώνηση πάντως τέρμα άθλια, ή είναι ιδέα μου? 

Στο σύνολο των σημείων θα βρίσκει τους γείτονες. Απλά δε θα υπάρχει καμία χρονική στιγμή στην οποία ένας κόμβος θα έχει στη διάθεσή του το σύνολο των δεδομένων.