THMMY.gr

Μαθήματα Κύκλου Ηλεκτρονικής & Υπολογιστών => Παράλληλα και Διανεμημένα Συστήματα => Topic started by: edenaxas on November 17, 2009, 01:48:15 am



Title: Παραλληλα και Διανεμημενα - Εργασια 2
Post by: edenaxas on November 17, 2009, 01:48:15 am
...


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 2
Post by: nicktgr15 on December 05, 2009, 20:42:59 pm
Έχει δοκιμάσει κανένας να τρέξει κώδικα στον diades? Ενω στο pc μου τρέχει κανονικά με το mpiexec, όταν δοκιμάζω στον diades μου βγάζει το εξής σφάλμα:
--------------------------------------------------------------------------
Could not execute the executable "mympi.exe": Exec format error

This could mean that your PATH or executable name is wrong, or that you do not
have the necessary permissions.  Please ensure that the executable is able to be
found and executed.

--------------------------------------------------------------------------

Τι να φταίει;Τον compiler υποψιάζομαι...
Έχει άδεια εκτέλεσης το αρχείο.....


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 2
Post by: chameleon on December 05, 2009, 21:06:45 pm
Έχει δοκιμάσει κανένας να τρέξει κώδικα στον diades? Ενω στο pc μου τρέχει κανονικά με το mpiexec, όταν δοκιμάζω στον diades μου βγάζει το εξής σφάλμα:
--------------------------------------------------------------------------
Could not execute the executable "mympi.exe": Exec format error

This could mean that your PATH or executable name is wrong, or that you do not
have the necessary permissions.  Please ensure that the executable is able to be
found and executed.

--------------------------------------------------------------------------

Τι να φταίει;Τον compiler υποψιάζομαι...
Έχει άδεια εκτέλεσης το αρχείο.....


ο σερβερ είναι σε UNIX οπότε το exe δεν το τρεχει. οπότε στέλνεις τον κώδικα, κάνεις εκεί compile με mpicc και μετά τρέχεις το εκτελέσιμο που θα προκύψει (με mpirun).


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 2
Post by: nicktgr15 on December 05, 2009, 22:59:59 pm
thanks chameleon...


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 2
Post by: ^^DaRk_HunTeR on December 06, 2009, 04:08:54 am
ο οποιος btw οσον αφορα την εισοδο (number of Processes)  σε δυναμη του 2
μπορει να εκτελεσει τα διαφορα προγραμματα μου μεχρι -n 128 στα 256 κρασαρει...

για αυτο πρεπει να με αφησουν να μπω στο UI του Hellas Grid :P


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 2
Post by: chameleon on December 06, 2009, 16:30:06 pm
οποιος απασχολει αυτους τους 2 πυρηνες τις τελευταιες ώρες ας κάνει ένα kill.


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 2
Post by: ^^DaRk_HunTeR on December 08, 2009, 22:00:42 pm
Δοκιμασε κανεις να τρεξει την εργασια του στο Hellas Grid??

στο σημειο του proxy creation(voms-proxy-init -voms see) μου βγαζει

Cannot find file or dir:/home/username/.glite/vomses
 Enter GRID pass phrase:

any ideas?

------Edit---------

Νταξ το PEM pass phrase ειχα ξεχασει οτι ηθελε εκει οποτε πηγε παρακατω...

Το θεμα ειναι το εξης τωρα... οτι υπαρχει προβλημα με το τι πρεπει να περιεχει το αρχειο .sh και το αρχειο .jdl οποιος βρει μια μορφη που τον βοηθησε στην εκτελεση ας την κανει ενα κοπι πειστ θα βοηθησει πολλους...


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 2
Post by: nicktgr15 on December 09, 2009, 02:06:08 am
Πρέπει να το τρέξουμε οπωσδηποτε στο hellas grid;
Δεν αρκει να το τρέξουμε στο pc μας για π.χ. 64 processes (μεχρι εκει πάει το δικό μου);....


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 2
Post by: miltiadis on December 09, 2009, 13:53:19 pm
Δοκιμασε κανεις να τρεξει την εργασια του στο Hellas Grid??

στο σημειο του proxy creation(voms-proxy-init -voms see) μου βγαζει

Cannot find file or dir:/home/username/.glite/vomses
 Enter GRID pass phrase:

any ideas?

------Edit---------

Νταξ το PEM pass phrase ειχα ξεχασει οτι ηθελε εκει οποτε πηγε παρακατω...

Το θεμα ειναι το εξης τωρα... οτι υπαρχει προβλημα με το τι πρεπει να περιεχει το αρχειο .sh και το αρχειο .jdl οποιος βρει μια μορφη που τον βοηθησε στην εκτελεση ας την κανει ενα κοπι πειστ θα βοηθησει πολλους...

Δες εδώ: http://goc.grid.auth.gr/wiki/bin/view/Groups/ALL/MpiSubmission
Είναι πολύ κατανοητά...


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 2
Post by: ^^DaRk_HunTeR on December 09, 2009, 20:54:45 pm
Πες μου λιγο ρε συ Μιλτο πραγματικα πιστευεις οτι δεν τα εχω δει?
Δυο μερες παλευω να τρεξω την εργασια...

Κατα ρχας στην εργασια μου εγω οπως ολοι φανταζομαι το μεγε8ος του πινακα ακεραιων το δινω ως εισοδο απο το πληκτρολογιο, στην περιπτωση του Grid ειτε δεν γινεται αυτο(το πιο πιθανο) ειτε αν γινεται θα ναι πολυπλοκο οποτε αναγκαστικα εβαλα τον αρι8μο αυτο εγω στατικα μεσα στο προγραμμα (πχ n=32)

Οπως και να χει..... ποσταρε αν δεν σου κανει κοπο και τα εχεις καταφερει να τρεξεις την εργασια σου εκει... τα αρχεια job.jdl  mpi-hooks.sh και mpi-start-wrapper.sh(αν και αυτο θα το πηρες αυτουσιο οπως λενε οι οδηγιες)

Ποσταρε τα για να μπορεσουμε να βγαλουμε μια ακρη γιατι στην εκτελεση μου πεταει σφαλματα
Η εργασια μου αποτελειτε απο δυο αρχεια .c αλλα την εχω και σε εκτελεσιμο αρχειο εσυ την κανεις compile στο Grid? η βαζεις μονο το εκτελεσιμο?


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 2
Post by: ^^DaRk_HunTeR on December 09, 2009, 23:16:11 pm
Λοιπον καταφερα να τρεξω ενα αρχειο helloworld.c με ΜPI (αυτο που μας ειχε δωσει ο κ.Πιτσιανης)

τα αρχεια mpi-start-wrapper.sh και mpi-hooks.sh τα πηρα αυτουσια απο την σελιδα
https://goc.grid.auth.gr/wiki/bin/view/Groups/ALL/MpiSubmission

και αλλαξα το .jdl αρχειο ωε εξης:

Code:
JobType = "Normal";
CpuNumber = 4;
Executable = "mpi-start-wrapper.sh";
Arguments = "helloworld MPICH2";
StdOutput = "std.out";
StdError = "std.err";
InputSandbox = {"mpi-start-wrapper.sh","mpi-hooks.sh","/home/username/hello_mpi/helloworld.c"};
OutputSandbox = {"std.err","std.out"};
Requirements =
Member("MPI-START", other.GlueHostApplicationSoftwareRunTimeEnvironment)
  && Member("MPICH2",
other.GlueHostApplicationSoftwareRunTimeEnvironment)
   && other.GlueCEInfoHostName == "ce01.kallisto.hellasgrid.gr";
 # && other.GlueCEInfoHostName == "ce01.isabella.grnet.gr";

δοκιμαζοντας να βαλω MPICH στην θεση του ΜPICH2 δεν εβγαιναν αποτελεσματα αν και η εκτελεση ολοκληρωνονταν χωρις να πεταξει σφαλμα... οποτε προσοχη!!!


Το αποτελεσμα ηταν το αρχειο std.err να ειναι κενο και το αρχειο std.out να περιεχει τα εξης:
************************************************************************
UID     =  see009
HOST    =  wn007
DATE    =  Wed Dec 9 21:46:25 EET 2009
VERSION =  0.0.52
************************************************************************
mpi-start [INFO   ]: search for scheduler
mpi-start [INFO   ]: activate support for pbs
mpi-start [INFO   ]: activate support for mpich2
mpi-start [INFO   ]: call backend MPI implementation
mpi-start [INFO   ]: start program with mpirun
-<START PRE-RUN HOOK>---------------------------------------------------
Compiling /home/see/see009/gram_scratch_nudUFDe4Yr/https_3a_2f_2fwms04.egee-see.org_3a9000_2fK0j7mHKRepqt69lY5xmNMg/hellowor$
mpicc -o /home/see/see009/gram_scratch_nudUFDe4Yr/https_3a_2f_2fwms04.egee-see.org_3a9000_2fK0j7mHKRepqt69lY5xmNMg/helloworl$
Successfully compiled /home/see/see009/gram_scratch_nudUFDe4Yr/https_3a_2f_2fwms04.egee-see.org_3a9000_2fK0j7mHKRepqt69lY5xm$
-<STOP PRE-RUN HOOK>----------------------------------------------------
=[START]=============================================================
Hello from process 3!
Hello from process 1!
Hello from process 2!
Received >>Hello from process 1!<<
Received >>Hello from process 2!<<
Received >>Hello from process 3!<<
=[FINISHED]==========================================================
-<START POST-RUN HOOK>---------------------------------------------------
Executing post hook.
Finished the post hook.
-<STOP POST-RUN HOOK>----------------------------------------------------


Επισης με την εντολη

glite-wms-job-list-match -a jobhello1.jdl

Connecting to the service https://wms03.egee-see.org:7443/glite_wms_wmproxy_server

=====================================================================

                     COMPUTING ELEMENT IDs LIST
 The following CE(s) matching your job requirements have been found:

        *CEId*
 - ce-atlas.ipb.ac.rs:2119/jobmanager-pbs-see
 - ce01.isabella.grnet.gr:2119/jobmanager-pbs-see
 - ce01.grid.uoi.gr:2119/jobmanager-pbs-see
 - ce01.ariagni.hellasgrid.gr:2119/jobmanager-pbs-see
 - ce01.kallisto.hellasgrid.gr:2119/jobmanager-pbs-see
 - ce01.athena.hellasgrid.gr:2119/jobmanager-pbs-see
 - ce02.athena.hellasgrid.gr:2119/jobmanager-pbs-see
 - ce64.ipb.ac.rs:2119/jobmanager-pbs-see

=====================================================================

Μονο τα συγκεκριμενα clusters εξυπηρετουν την εργασια μας με MPICH2 και γενικα τις απαιτησεις του helloworld.c  αν και δοκιμαζοντας σε μερικα απο αυτα οπως ο grid.uoi.gr ή o ariagni.hellasgrid.gr η εργασια παρεμενε για πολυ ωρα status:"scheduled" αν και οταν εγραφα lcg-infosites --vo see ce
δεν εβγαζε καποιες εργασιες να ειναι waiting

Παντα τρεχει στον ce01.isabella.grnet.gr (που εχω ως default για αυτο το λογο) και καταφερα να τρεξω επιτυχως το helloworld.c και στο ce01.kallisto.hellasgrid.gr (υποψην εχω UI στην αθηνα στον Isabella, δεν ξερω βεβαια αν αυτο παιζει κανενα ρολο)


Το προβλημα - ερωτημα μου λοιπον ειναι το εξης...
 Η εργασια μου αποτελειται απο δυο αρχεια .c (parallel_bitonci.c και mpio_io.c)  πως γινεται να βαλουμε παραπανω ορισματα στο InputSandBox? Μονο αυτη την αλλαγη θελει?Μηπως πρεπει να αλλαξω και το Argument στο αρχειο .jdl, τα αλλα αρχεια θα μεινουν ανεπαφα??Ποιες αλλαγες πρεπει να γινουν και που?


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 2
Post by: stefos on December 10, 2009, 14:59:20 pm
H εργασία πήρε παράταση μέχρι και τη Τετάρτη 16 Δεκεμβρίου (Ε-ΤΗΜΜΥ)