THMMY.gr

Μαθήματα Κύκλου Ηλεκτρονικής & Υπολογιστών => Παράλληλα και Διανεμημένα Συστήματα => Topic started by: edenaxas on December 23, 2009, 04:31:44 am



Title: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: edenaxas on December 23, 2009, 04:31:44 am
...


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: ^^DaRk_HunTeR on December 23, 2009, 06:22:58 am
επιτελους την ανεβασε...
αντε να δουμε ποτε θα βγουν οι βα8μοι της πρωτης και της δευτερης

Παρεπιπτοντως απο οτι φαινεται η 4η θα πεσει μεσα στην εξεταστικη...

Καλα θα περασουμε...


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: edenaxas on December 23, 2009, 12:51:20 pm
επιτελους την ανεβασε...
αντε να δουμε ποτε θα βγουν οι βα8μοι της πρωτης και της δευτερης

Παρεπιπτοντως απο οτι φαινεται η 4η θα πεσει μεσα στην εξεταστικη...

Καλα θα περασουμε...
η 4η εχει νομιζω ετσι κι αλλιως χρονο παραδοσης την τελευταια μερα πριν ξεκινησει η εξεταστικη..ρωτα αν θες


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: edenaxas on December 23, 2009, 13:32:07 pm
game of life (http://www.download-free-games.com/board_game_download/game_of_life.htm)


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: edenaxas on December 23, 2009, 20:12:37 pm
dear santa
i\ve been a really good boy and i want that (http://www.plaisio.gr/Computers/Hardware/SVGA/MSi-GTS-250-SVGA-PCI-Express--1GB.htm)


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: ^^DaRk_HunTeR on December 27, 2009, 04:49:06 am
Απο τη σελιδα
http://www.nvidia.com/object/cuda_get.html
που μας εδωσε ο Πιτσιανης προσπα8ησα να κατεβασω τα τρια απαραιτητα στοιχεια για την προσομοίωση της CUDA GPU εφόσον ο υπολογιστής μου δεν έχει τέτοια κάρτα(αλλα ati 5850)

και μου βγαζει το εξης σφαλμα : The NVIDIA Setup program could not locate any drivers that are compatible with your current hardware. Setup will now exit.

Το σφαλμα μου το πεταει κατα την εγκατασταση του CUDA driver

Το λειτουργικο μου ειναι Windows 7 (x64) και δοκιμασα και την ver 2.3 και την ver 2.2

τα καταφερε κανεις με αυτο το λειτουργικο?
-------------------------------------------------------------
εδιτ

Να υποθεσω πως δεν τους αρεσει που δεν εχω καρτα Nvidia???


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: ^^DaRk_HunTeR on December 27, 2009, 20:45:56 pm
Το μονο σχετικο που βρηκα προς το παρον ειναι αυτο

http://www.ngohq.com/graphic-cards/16223-nvidia-disables-physx-when-ati-card-is-present-52.html

αλλα με την εντολη "expand nvcuda32.dl_ c:\" κρασαρει το command prompt

ο Πιτσιανης ειπε πως θα πρεπει να βρουμε τους καταλληλους drivers για ATI+win7 x64 δλδ τρεχα γυρευε...

---------------------------------------------
edit

Απο οτι βλεπω
http://www.tomshardware.co.uk/forum/page-272428_15_0.html

Αν θελουμε να δουλεψουμε με CUDA απλα
"so then I should just buy a Nvidia card.
Thanks for the help."

και η λυση ειναι OpenCL on ATI stream...
http://developer.amd.com/gpu/ATIStreamSDK/Pages/default.aspx

μονο που δεν ειναι CUDA και θα ειναι αλλη εργασια :P οποτε θα προγραμματιζουμε στον ΔΙΑΔΗ μαζικα


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: Godhatesusall on December 27, 2009, 22:43:09 pm
έχω 8800 GT ,ανταλλάσσουμε?

Είναι και overclockαρισμένη καμιά 10%.

Γαμάτο deal l3m3


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: ^^DaRk_HunTeR on December 27, 2009, 23:58:12 pm
lol ναι ναι ερχομαι...

Παρτε ενα σοβαρο review του "Game of life" για starters
http://www.math.com/students/wonders/life/life.html

και δυο videos :
http://www.youtube.com/watch?v=XcuBvj0pw-E

http://www.youtube.com/watch?v=FdMzngWchDk

το δευτερο ειναι demotivator being a prodigy


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: nicole on December 29, 2009, 14:47:27 pm
επιτελους την ανεβασε...
αντε να δουμε ποτε θα βγουν οι βα8μοι της πρωτης και της δευτερης

Παρεπιπτοντως απο οτι φαινεται η 4η θα πεσει μεσα στην εξεταστικη...

Καλα θα περασουμε...
η 4η εχει νομιζω ετσι κι αλλιως χρονο παραδοσης την τελευταια μερα πριν ξεκινησει η εξεταστικη..ρωτα αν θες

Έστειλα mail στον Πιτσιάνη και μου απάντησε ότι η 4η θα πρέπει να παραδοθεί με το τέλος της εξεταστικής...


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: ^^DaRk_HunTeR on December 31, 2009, 01:56:17 am
Λοιπον προσπα8ω να τρεξω οτιδηποτε σε cuda στον ΔΙΑΔΗ

Με μειλ ο Πιτσιανης μου ειπε οτι :

Στο /root θα βρεις το CUDA SDK 2.3 installer. Τρέξε το να σου φτιάξει ένα αντίγραφο στο
δικό σου χώρο.

Μετά χρησιμοποίησε make για να μεταφράσεις τα παραδείγματα. Αντέγραψε το makefile για το
δικό σου πρόγραμμα.

--------------------------------------------------------------------------------------------------------------------------------------

Στο root βεβαια υπαρχουν τα εξης


addstudents
addstudents~
anaconda-ks.cfg
auto.home
boot.tgz
ca.crt
cuda
cuda-sdk-linux-2.10.1215.2015-3233425.run
cula_1.0-rhel47_64.run
Desktop
ganglia-3.1.2.tar.gz
id_rsa.pub
install.log
install.log.syslog
intel-developer-5.1-10.1.018.x86_64.disk1.iso
mlnx-ofed-5.1-1.3.1.7.x86_64.disk1.iso
mlnx-ofed-debug.out
MLNX_OFED_LINUX-1.3.1-rhel5.iso
mlton-20070826
move
mpistuds
nmap.out
NVIDIA_CUDA_SDK
NVIDIA_CUDA_SDK_2.02.0807.1535_linux.run
NVIDIA_GPU_Computing_SDK
nvidia.ko
pk2009grads
pk2009students
RCS
showfiles.php?group_id=43021
temproot
ttt

και μεσα στους διαφορους φακελους αλλα τοσα πχ στον cuda υπαρχουν τα :
10                      barbara_gold2.bmp
barbara_cuda1.bmp       cuda-sdk-linux-2.10.1215.2015-3233425.run
barbara_cuda2.bmp       cudatoolkit_2.1_linux64_rhel5.2.run
barbara_cuda_short.bmp  NVIDIA-Linux-x86_64-180.22-pkg2.run
barbara_gold1.bmp
------------------------------------------------------------------------------------------------
Οι οδηγιες του νετ λενε αλλα πραγματα βεβαια

I. Quick Start Instructions
--------------------------------------------------------------------------------

For more detailed instructions, see section II below.

0. a. Install the NVIDIA Linux display driver by executing the file
      NVIDIA-Linux-*-pkg1.run

   (Note this is pkg2 for 64-bit linux.)
   For information on installing NVIDIA Linux display drivers, please refer to
   the NVIDIA Accelerated Linux Driver Set README and Installation Guide:
   http://us.download.nvidia.com/XFree86/Linux-x86/1.0-9755/README/index.html

1. Install version 1.1 of the NVIDIA CUDA Toolkit by executing the file
   NVIDIA_CUDA_Toolkit_1.1-*.run corresponding to your Linux distribution

   Add the CUDA binaries and lib path to your PATH and LD_LIBRARY_PATH
   environment variables.

2. Install the NVIDIA CUDA SDK by executing the file
   NVIDIA_CUDA_SDK_1.1-*.run

   The installer will prompt you to enter an installation path for the SDK or
   accept the default.  We will refer to the path you choose as
   SDK_INSTALL_PATH.
  
3. Build the SDK project examples.  

   cd <SDK_INSTALL_PATH>
   make
    
4. Run the examples:
    
   cd <SDK_INSTALL_PATH>/bin/linux32/release
        matrixmul

   (or any of the other executables in that directory)

See the next section for more details on installing, building, and running
SDK samples.
-----------------------------------------------------------------------------------------------------

Μασωντας φυλλα δαφνης λοιπον και υποθετοντας οτι τα βηματα 0 και 1 παραπανω ειχαν γινει(συμφωνα με τις οδηγιες του δασκαλου) πηγα στο βημα 2...

Εκανα install το NVIDIA_CUDA_SDK_2.02.0807.1535_linux.run στο home directory και αλλαξα το .bash_profile


ως εξης :

Code:
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin:/usr/local/cuda/bin:~/NVIDIA_CUDA_SDK/bin

export PATH

LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib:~/NVIDIA_CUDA_SDK/lib
export LD_LIBRARY_PATH

(to installattion φαινεται να γινε σωστα γιατι μου βγαλε τα αναμενομενα αποτελεσματα και κανενα σφαλμα επισης στο τελος ελεγε

Code:
========================================

Configuring SDK Makefile (/export/home/username/NVIDIA_CUDA_SDK/common/common.mk)...

========================================

* Please make sure your PATH includes /usr/local/cuda/bin
* Please make sure your LD_LIBRARY_PATH includes /usr/local/cuda/lib

* To uninstall the NVIDIA CUDA SDK, please delete /export/home/username/NVIDIA_CUDA_SDK
* Installation Complete



To επομενο βημα ειναι να κανω build... με την εντολη make μεσα στον φακελο που εγινε το installation(NVIDIA_CUDA_SDK) ομως βγαινουν σφαλματα για το cudart...

δλδ
Code:

make[1]: Entering directory `/export/home/username/NVIDIA_CUDA_SDK/common'
a - obj/release/bank_checker.cpp_o
a - obj/release/cmd_arg_reader.cpp_o
a - obj/release/cutil.cpp_o
a - obj/release/stopwatch.cpp_o
a - obj/release/stopwatch_linux.cpp_o
a - obj/release/multithreading.cpp_o
make[1]: Leaving directory `/export/home/username/NVIDIA_CUDA_SDK/common'
make[1]: Entering directory `/export/home/username/NVIDIA_CUDA_SDK/common'
a - obj/release/paramgl.cpp_o
a - obj/release/param.cpp_o
make[1]: Leaving directory `/export/home/username/NVIDIA_CUDA_SDK/common'
make[1]: Entering directory `/export/home/username/NVIDIA_CUDA_SDK/common'
a - obj/release/rendercheck_gl.cpp_o
make[1]: Leaving directory `/export/home/username/NVIDIA_CUDA_SDK/common'
make -C projects/quasirandomGenerator/
make[1]: Entering directory `/export/home/username/NVIDIA_CUDA_SDK/projects/quasirandomGenerator'
/usr/bin/ld: skipping incompatible /usr/local/cuda/lib/libcudart.so when searching for -lcudart
/usr/bin/ld: skipping incompatible /usr/local/cuda/lib/libcudart.so when searching for -lcudart
/usr/bin/ld: cannot find -lcudart
collect2: ld returned 1 exit status
make[1]: *** [../../bin/linux/release/quasirandomGenerator] Error 1
make[1]: Leaving directory `/export/home/username/NVIDIA_CUDA_SDK/projects/quasirandomGenerator'
make: *** [projects/quasirandomGenerator/Makefile.ph_build] Error 2


Προφανως κατι εχει γινει λα8ος και υποψιαζομαι οτι φταιει το modification του .bash_profile(ειτε οτι δεν εγιναν ολα τα βηματα που λενε οι οδηγιες της Nvidia)αν το δοκιμασε κανεις και το κανε σωστα ας πει...


ΥΓ: Θα θελα ο αγιος Βασιλης να βοηθησει τους ανθρωπους να μην βαριουνται και να γραφουν κανα σοβαρο README που και που.... ετσι απλα βημα-βημα.... δεν ειναι τοσο τραγικο νομιζω (βλεπε cuda , nachOS etc)



Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: miltiadis on December 31, 2009, 19:13:43 pm
Γιατί το χρειάζεσαι όλο αυτό;
Έτρεξα CUDA στον diades.ee.auth.gr ως εξής:

nvcc input.cu -o output
./output

και τέλος...


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: edenaxas on December 31, 2009, 20:14:06 pm
κατ'αρχας δεν χρειαζεσαι καν τον διαδη αφου εχεις simulation ή δινεις 60ευρα και παιρνεις μια καρτα που τρεχει cuda


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: ^^DaRk_HunTeR on December 31, 2009, 22:08:37 pm
@miltiadis

εμενα δεν τρεχει τοσο απλα δυστυχως:P
(χωρις καμια ρυθμιση βγαζει αυτο το σφαλμα στην απλη εντολη για compile)
cutil_inline.h: No such file or directory

Περα απο το θεμα του cutil που το λυνω(μπακαλικα) απλα πετωντας μεσα στον φακελο /common/inc του CUDA_SDK το αρχειο .cu μου υπαρχει και δευτερο προβλημα με την βιβλιο8ηκη glut... το ψαχνω at the moment

@edenexas ειπαμε εχω ati .... και γαματη ατι.... σιγα μην δωσω 60 ευρω... εχουμε ξεφυγει μου φαινεται

-------------------------------------------------------------------------------------------------------------------------------------------
edit

Φαινεται με την μπακαλικη να εχουμε προχωρησει λιγο τωρα που ολα τα αρχεια που περιεχει ο φακελος common τα εβγαλα απο τους υποφακελους και τα εβαλα σε εναν κοινο πλεον φακελο μαζι με το προγραμμα μου

και εκτελωντας την εντολη  nvcc -o test1 myprogram.cu -lGL -lglut
τα σφαλματα περιοριστηκαν στα εξης:

undefined reference to `cutGetTimerValue'
undefined reference to `cutStartTimer'
undefined reference to `gluOrtho2D'
      //                         'cutGetCmdLineArgumentstr'
     //                          'cutCreateTimer'
    //                           'cutDeleteTimer'
collect2: ld returned 1 exit status


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: miltiadis on December 31, 2009, 22:59:41 pm
@miltiadis

εμενα δεν τρεχει τοσο απλα δυστυχως:P
(χωρις καμια ρυθμιση βγαζει αυτο το σφαλμα στην απλη εντολη για compile)
cutil_inline.h: No such file or directory



Δεν χρειάστηκε να κάνω κανένα include για την cuda. Απλά βγαλ'το και φαντάζομαι πως θα δουλέψει


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: ^^DaRk_HunTeR on December 31, 2009, 23:10:59 pm
το cuda.h ενδεχομενως να μην χρειαζεται... γιατι οταν το βγαζω και αφηνω τα αλλα απλα βγαζει τα ιδια παραπανω σφαλματα... αλλα οταν βγαζω τα αλλα includes αυξανονται τα errors


//#include <GL/glut.h>
#include <glut.h>

#include <cutil_inline.h>
#include <cuda.h>


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: edenaxas on January 01, 2010, 16:48:54 pm
..


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: nicktgr15 on January 03, 2010, 18:01:42 pm
Γιατί το χρειάζεσαι όλο αυτό;
Έτρεξα CUDA στον diades.ee.auth.gr ως εξής:

nvcc input.cu -o output
./output

και τέλος...

Και μένα δούλεψε ετσι μ ενα hello world που δοκίμασα.....


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: ^^DaRk_HunTeR on January 03, 2010, 22:40:09 pm
το Hello World και μενα εκτελειτε κανονικα....
οποτε αντε go figure γιατι μου πε ο Πιτσιανης να κανω install το SDΚ...

οπως και να χει η εργασια(μου) απαιτει και αλλες βιβλιο8ηκες(include αρχεια) που δεν φαινεται να υπαρχουν ετοιμες στον ΔΙΑΔΗ...

like cutil_inline.h, lglut lcudart etc....


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: power_ranger_mple on January 06, 2010, 15:34:57 pm
κατ'αρχας δεν χρειαζεσαι καν τον διαδη αφου εχεις simulation ή δινεις 60ευρα και παιρνεις μια καρτα που τρεχει cuda

Παιδιά λίγη βοήθεια. Έκανα όπως οι οδηγίες το toolkit και το sdk απο εδώ : (http://www.nvidia.com/object/cuda_get.html) για simulation δηλαδή, και ενώ γίνεται το compile με make, το αποτέλεσμα δεν είναι σωστό. Μου μοιάζει σαν να μην μπαινει ποτέ σε συναρτηση __global__ κλπ. (Κάπου παίζει να έχω χάσει και τον ειρμό μου ;D)  Αν μπορεί κανεις να βοηθήσει?   :'(


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: nicktgr15 on January 08, 2010, 01:43:14 am
Παιδιά ο diades λειτουργεί κανονικά; Οτι και να τρέξω κολλάει  :???:


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: ^^DaRk_HunTeR on January 12, 2010, 14:08:34 pm
Αν καποιος δοκιμασε(η δοκιμασει τωρα:P) ειτε στον Διαδη ειτε γενικα σε περιβαλλον Linux να τρεξει
τα εξης projects
NVIDIA_GPU_Computing_SDK/C/src/simpleGL
ή/και
NVIDIA_GPU_Computing_SDK/C/src/postProcessGL

και τα καταφερε(καταφερει) επιτυχως ας μας πει τι εκανε ακριβως...
-------------------------------------------------------------------------------------------
ο φακελος
NVIDIA_GPU_Computing_SDK βρισκεται ειτε στο /root ειτε στο ~npitsianis/ (στον ΔΙΑΔΗ)
και το κανουμε αν θελουμε cp στο home


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: gerasimos on January 12, 2010, 17:08:24 pm
Καταφερε κανεις να εγκαταστήσει κ να δουλεψει την cuda???
Σε linux εγκατεστησα τον driver και πλεον δεν εχω γραφικα + δεν δουλευει το nvcc
Σε windows οταν τρεχω nvcc -o test.txt test.cu μου βγαζει fatal error: cannot find compiler cl.exe  in PATH.
Έψαξα ολο το pc και δεν υπαρχει πουθενα cl.exe.
Γιατι δεν υπαρχουν σωστες οδηγιες πουθενα?? >:( >:( >:(


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: ^^DaRk_HunTeR on January 18, 2010, 19:40:33 pm
Επειδη ειχαμε μια κουβεντα με κατι παιδια σημερα για τη συναρτηση cudaThreadSynchronize() και την αναγκαιοτητα της χρησιμοποιησης της... λεω να απαντησω απο εδω..

απο το ιντερνετς
Quote
We can be a bit more general: No, no cudaThreadSynchronize() call is EVER needed to ensure the correctness of your program (as long as you aren't using the zero-copy feature of CUDA 2.2, or Async memcpy operations, I forgot about that one). Any cudaMemcpy/etc... call will either be queued and executed in order or implicitly synchronize with the GPU.

The only reasons to ever call cudaThreadSynchronize() are
1) Make sure the GPU has finished executing so you can measure a wall-clock time for benchmarking reasons
2) Check error codes after kernel calls
3) In CUDA 2.2: ensure that a kernel has finished so you can read values written to host mapped memory, though events are probably more efficient for that
4) When using memcpy *Async methods copying to the host

And I would highly recommend not using CUT_CHECK_ERROR. There are often many times when you might want to check for error conditions even in a release build based on an option flag.

The API/driver will automatically sync for you in almost all cases where it is needed.

Εν γενει λοιπον η ρητη χρησιμοποιηση της συναρτησης cudaThreadSynchronize() δεν ειναι απαραιτητη... εγω δεν την χρησιμοποιησα ρητα μονο μεσω των cudamalloc...

Αντιθετα βεβαια η _syncthreads() ειναι απαραιτητη εφοσον κανουμε χρηση shared memory...
οι δυο συναρτησεις δεν εχουν καμια σχεση απλα στην αρχη πολλοι τις μπερδευουν.


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: stratis on January 20, 2010, 06:05:56 am
Αν καποιος δοκιμασε(η δοκιμασει τωρα:P) ειτε στον Διαδη ειτε γενικα σε περιβαλλον Linux να τρεξει
τα εξης projects
NVIDIA_GPU_Computing_SDK/C/src/simpleGL
ή/και
NVIDIA_GPU_Computing_SDK/C/src/postProcessGL

και τα καταφερε(καταφερει) επιτυχως ας μας πει τι εκανε ακριβως...
-------------------------------------------------------------------------------------------
ο φακελος
NVIDIA_GPU_Computing_SDK βρισκεται ειτε στο /root ειτε στο ~npitsianis/ (στον ΔΙΑΔΗ)
και το κανουμε αν θελουμε cp στο home

Στο linux μπορώ να τα τρέξω κανονικά... Στο diades δε νομίζω ότι είναι δυνατό να εμφανίσουμε γραφικά στο απομακρυσμένο σύστημα...

Καταφερε κανεις να εγκαταστήσει κ να δουλεψει την cuda???
Σε linux εγκατεστησα τον driver και πλεον δεν εχω γραφικα + δεν δουλευει το nvcc
Σε windows οταν τρεχω nvcc -o test.txt test.cu μου βγαζει fatal error: cannot find compiler cl.exe  in PATH.
Έψαξα ολο το pc και δεν υπαρχει πουθενα cl.exe.
Γιατι δεν υπαρχουν σωστες οδηγιες πουθενα?? >:( >:( >:(

Ύστερα από πολλές αποτυχημένες προσπάθειες κατάφερα να κάνω τα πάντα να δουλέψουν ακολουθώντας τις οδηγίες που έχει σε αυτό το υπέροχο site:

http://moelhave.dk/2009/12/nvidia-cuda-on-ubuntu-karmic-koala/ (http://moelhave.dk/2009/12/nvidia-cuda-on-ubuntu-karmic-koala/)

Έχω ubuntu 9.10 x64, και εγκατέστησα την cuda 2.3.


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: AZMAGILLIAN on January 21, 2010, 16:00:11 pm
SOS!!!!ξερει κανεις τιποτα για παραταση της εργασιας;;;;η να αρχισω να στελνω απελπισμενα μαιλ ;;;; :'(


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: ^^DaRk_HunTeR on January 21, 2010, 16:09:41 pm
Αν εχει ενα καλο ο δασκαλος ειναι οτι δεν τηρει κατα γραμμα τις προ8εσμιες... μη φοβασαι

Αν και νομιζω οτι ουτως η αλλως ανεφερε την Κυριακη ως νεα ημερομηνια.


Title: Re: Παραλληλα και Διανεμημενα - Εργασια 3
Post by: AZMAGILLIAN on January 23, 2010, 00:05:39 am
κατι τετοιο ακουσα κ εγω τωρα :)
ευχαριστω παντως
;)