[Παράλληλα και Διανεμημένα Συστ.] Εργασία 3

[Thmmy.gr portal]

  Thmmy.gr portal
   Forum
   Downloads
   Ενεργ. Λογαριασμού
   Επικοινωνία
  
  Χρήσιμα links
   Σελίδα τμήματος
   Βιβλιοθήκη Τμήματος
   Elearning
   Φοιτητικά fora
   Πρόγραμμα Λέσχης
   Πρακτική Άσκηση
   Ηλεκτρονική Εξυπηρέτηση Φοιτητών
   Διανομή Συγγραμμάτων
   Ψηφιακό Καταθετήριο Διπλωματικών
   Πληροφορίες Καθηγητών
   Instagram @thmmy.gr
   mTHMMY
  
  Φοιτητικές Ομάδες
   ACM
   Aristurtle
   ART
   ASAT
   BEAM
   BEST Thessaloniki
   EESTEC LC Thessaloniki
   EΜΒ Auth
   IAESTE Thessaloniki
   IEEE φοιτητικό παράρτημα ΑΠΘ
   SpaceDot
   VROOM
   Panther
  

THMMY.gr Web

Helios_MultiScribbles2SMF Default ThemeSMFone_Blue

[Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads]

Είσαι πρωτοετής;... Καλώς ήρθες! Μπορείς να βρεις πληροφορίες εδώ. Βοήθεια για τους καινούργιους μέσω χάρτη.

Κατεβάστε εδώ το Android Application για εύκολη πρόσβαση στο forum.

Ανεβάζετε τα θέματα των εξετάσεων στον τομέα Downloads με προσοχή στα ονόματα των αρχείων!

[Πληροφορίες Καθηγητών]

Πληροφορίες Καθηγητών

[chrimour]

Για τον kernel με τα πολλαπλα κελια ανα thread με χρηση της shared memory εχει καποιος να προτεινει πως να γινει; Τουλαχιστον την λογικη. Επειδη εχω ψιλομπερδευτει.

[Exomag]

Για τον kernel με τα πολλαπλα κελια ανα thread με χρηση της shared memory εχει καποιος να προτεινει πως να γινει; Τουλαχιστον την λογικη. Επειδη εχω ψιλομπερδευτει.

Αντί να τα threads ενός block όλες τις τιμές που χρειάζονται για να προσδιορίσουν την επόμενη τους κατάστασης από την global memory, θα πρέπει πρώτα να γεμίσεις τον πίνακα της shared memory με αυτές τις τιμές και έπειτα τα threads του κάθε block να διαβάζουν από εκεί τις τιμές που χρειάζονται.

[chrimour]

Αυτο που με μπερδευει ομως ειναι οτι αφου θα αντιγραφω στον καθε πινακα της shared memory του καθε block απο την global, τους γειτονες στις ακρες των πινακων πως θα τους βρισκω; Αφου ενα thread δεν μπορει να "δει" τιμες σε αλλο block.

π.χ
block 1         block 2
111001        001010
001010        100101
100101        100110
100101        100110
100110        100110

Πως ας πουμε θα βρουμε τον γειτονα του τελευταιου της δευτερης γραμμης στο block 1 αφου το thread δεν μπορει να δει στο block 2;

[jimPster]

Χωρις να εχω ασχοληθει με την εργασια,  καθε thread ανεξαρτητου block εχει προσβαση σε ολη την global memory. H shared memory εχει block scope.Δηλ στην shared memory φορτωνεις οτι θελεις
απο global memory, αν κτλβα ποιος ειναι ο προβληματισμος σου

[Exomag]

Χωρις να εχω ασχοληθει με την εργασια,  καθε thread ανεξαρτητου block εχει προσβαση σε ολη την global memory. H shared memory εχει block scope.Δηλ στην shared memory φορτωνεις οτι θελεις
απο global memory, αν κτλβα ποιος ειναι ο προβληματισμος σου

Αυτό βασικά. Επίσης, η shared memory του κάθε block μπορεί να είναι και μεγαλύτερη από το αντίστοιχο κομμάτι του πίνακα με το οποίο θα ασχοληθεί το block.

[chrimour]

οχι οχι. αυτο που λεω ειναι εχουμε ενα πινακα 250000 στοιχεια ο οποιος σιγουρα δεν χωραει στην shared memory. Το παιχνιδι game of life ειναι βασισμενο αποκλειστικα στο τι γινεται με τους γειτονες σε καθε γενια. Αρα αφου η λογικη λεει για να δουλεψω μεσω της shared memory πρεπει να αντιγραψω σε καθε shared memory του καθε block ενα κομματι απο τον μεγαλο πινακα και μετα να βρισκω τους ζωντανους και νεκρους γειτονες μεσω του καθε shared πινακα. Αυτο που ρωτω εγω ειναι αφου  ενα thread στο block 1 δεν γινεται να βλεπει τον πινακα στο block 2 οπως στο παραδειγμα μου πως ας πουμε θα δει τους γειτονες των ακρινων στοιχειων αφου αυτοι βρισκονται στο block 2; Η δεν εχω καταλαβει καλα την shared memory;

Αυτο που λες νομιζω ειναι για το συνολικο πινακα με τις κυκλικες οριακες συνθηκες. Εγω μιλαω για τις ακρες των μικροτερων πινακων που αποθηκευονται στην shared memory. Σε αυτους δεν μπορουμε να πουμε οτι ισχυουν κυκλικες οριακες συνθηκες αφου οι γειτονες τους ειναι πραγματι διπλα τους και οχι στην αλλη πλευρα του πινακα ας πουμε.

[Exomag]

οχι οχι. αυτο που λεω ειναι εχουμε ενα πινακα 250000 στοιχεια ο οποιος σιγουρα δεν χωραει στην shared memory. Το παιχνιδι game of life ειναι βασισμενο αποκλειστικα στο τι γινεται με τους γειτονες σε καθε γενια. Αρα αφου η λογικη λεει για να δουλεψω μεσω της shared memory πρεπει να αντιγραψω σε καθε shared memory του καθε block ενα κομματι απο τον μεγαλο πινακα και μετα να βρισκω τους ζωντανους και νεκρους γειτονες μεσω του καθε shared πινακα. Αυτο που ρωτω εγω ειναι αφου  ενα thread στο block 1 δεν γινεται να βλεπει τον πινακα στο block 2 οπως στο παραδειγμα μου πως ας πουμε θα δει τους γειτονες των ακρινων στοιχειων αφου αυτοι βρισκονται στο block 2; Η δεν εχω καταλαβει καλα την shared memory;

Αυτο που λες νομιζω ειναι για το συνολικο πινακα με τις κυκλικες οριακες συνθηκες. Εγω μιλαω για τις ακρες των μικροτερων πινακων που αποθηκευονται στην shared memory. Σε αυτους δεν μπορουμε να πουμε οτι ισχυουν κυκλικες οριακες συνθηκες αφου οι γειτονες τους ειναι πραγματι διπλα τους και οχι στην αλλη πλευρα του πινακα ας πουμε.

Κατάλαβα ακριβώς τι λες και ποιό είναι το πρόβλημα σου. Το θέμα είναι ότι εσύ σκέφτεσαι πως η shared memory πρέπει να είναι ένας πίνακας που να περιέχει μόνο τα cells των thread του block, στο οποίο ανήκει. Γιατί, όμως, να μην αυξήσεις τον πίνακας στη shared memory λίγο για να αποθηκεύσεις και τις γειτονικές τιμές που θα χρειαστεί το κάθε block;

[Σα τανυστής]

Hi it's me again,

Για το global memory..

Στο game of life για να υλοποιησεις τις αλλαγες θελεις 2 πινακες, εναν που ταιζεις στην συναρτηση του παιχνιδιου σου και εναν με τις νεες καταστασεις για να τις αντιγραψεις ολες μαζι στο τελος. Στο σειριακο ολα μια χαρα.

Στο kernel μεσα αυτη η αντιγραφη κανει οτι να ναι, προφανως. Εχετε βρει καποιον κομψο τροπο να αντιγραφετε αυτους τους 2 πινακες μεσα στο kernel? Το κανω στo host μου και μου φαινεται πολυ hack γι αυτο ρωταω..

[Exomag]

Hi it's me again,

Για το global memory..

Στο game of life για να υλοποιησεις τις αλλαγες θελεις 2 πινακες, εναν που ταιζεις στην συναρτηση του παιχνιδιου σου και εναν με τις νεες καταστασεις για να τις αντιγραψεις ολες μαζι στο τελος. Στο σειριακο ολα μια χαρα.

Στο kernel μεσα αυτη η αντιγραφη κανει οτι να ναι, προφανως. Εχετε βρει καποιον κομψο τροπο να αντιγραφετε αυτους τους 2 πινακες μεσα στο kernel? Το κανω στo host μου και μου φαινεται πολυ hack γι αυτο ρωταω..

Η κλήση μιας συνάρτηση της Cuda θα υλοποιεί ένα generation του Game of Life, και θα καλείς αυτή τη συνάρτηση πολλές φορές. Οπότε δε θα χρειαστεί να κάνεις κάποια αντιγραφή δεδομένων μέσα στη συνάρτηση.

[Σα τανυστής]

Για την υλοποιηση πολλα κελια/νημα vs ενα κελι/νημα , ενω περιμενα διαφορα στους χρονους δεν ειδα σχεδον τιποτα.

Το εχετε και εσεις αυτο?

Σε ενα blog της nvidia διαβασα οτι με strides εχεις ιδιο instruction cost οταν εχεις ενα grid-stride loop και ενα απλο if, απλα δε μου καθεται καλα και ειπα να επιβεβαιωσω..

[Exomag]

Για την υλοποιηση πολλα κελια/νημα vs ενα κελι/νημα , ενω περιμενα διαφορα στους χρονους δεν ειδα σχεδον τιποτα.

Το εχετε και εσεις αυτο?

Σε ενα blog της nvidia διαβασα οτι με strides εχεις ιδιο instruction cost οταν εχεις ενα grid-stride loop και ενα απλο if, απλα δε μου καθεται καλα και ειπα να επιβεβαιωσω..

Εξαρτάται και από τα πόσα κελιά ανά νήμα χρησιμοποιείς. Τα strides επίσης κοστίζουν σε χρόνο, ισχύει αυτό. Τα ifs επίσης κοστίζουν σε χρόνο.

[Σα τανυστής]

Για την υλοποιηση πολλα κελια/νημα vs ενα κελι/νημα , ενω περιμενα διαφορα στους χρονους δεν ειδα σχεδον τιποτα.

Το εχετε και εσεις αυτο?

Σε ενα blog της nvidia διαβασα οτι με strides εχεις ιδιο instruction cost οταν εχεις ενα grid-stride loop και ενα απλο if, απλα δε μου καθεται καλα και ειπα να επιβεβαιωσω..

Εξαρτάται και από τα πόσα κελιά ανά νήμα χρησιμοποιείς. Τα strides επίσης κοστίζουν σε χρόνο, ισχύει αυτό. Τα ifs επίσης κοστίζουν σε χρόνο.

thanks για καποιο λογο ειχα στο μυαλο μου οτι πολλα κελια/thread = grid strides αποκλειστικα. Καλη φαση που το αφηνει ανοιχτο στην εκφωνηση.

[Exomag]

Για την υλοποιηση πολλα κελια/νημα vs ενα κελι/νημα , ενω περιμενα διαφορα στους χρονους δεν ειδα σχεδον τιποτα.

Το εχετε και εσεις αυτο?

Σε ενα blog της nvidia διαβασα οτι με strides εχεις ιδιο instruction cost οταν εχεις ενα grid-stride loop και ενα απλο if, απλα δε μου καθεται καλα και ειπα να επιβεβαιωσω..

Εξαρτάται και από τα πόσα κελιά ανά νήμα χρησιμοποιείς. Τα strides επίσης κοστίζουν σε χρόνο, ισχύει αυτό. Τα ifs επίσης κοστίζουν σε χρόνο.

thanks για καποιο λογο ειχα στο μυαλο μου οτι πολλα κελια/thread = grid strides αποκλειστικα. Καλη φαση που το αφηνει ανοιχτο στην εκφωνηση.

Ε ναι, δεν σου λέει η εκφώνηση πως ακριβώς να το υλοποιήσεις. Οπότε η λογική είναι ότι θα δοκιμάσεις διάφορα να δεις τι είναι γρηγορότερο/καλύτερο.

[spira mirabilis]

Να ρωτήσω κάτι κι εγώ:
Όταν πάω να μετρήσω την επιτάχυνσή μου πρέπει να συνυπολογήσω και τον χρόνο που χρειάζεται η μεταφορά των δεδομένων από την CPU στην GPU? Δεν έχω τεστάρει πολύ το πρόγραμμά μου  και δεν είμαι σίγουρη για τα νούμερα, αλλά σε αυτήν την φάση παρατήρησα τα ακόλουθα: τρέχοντας την παράλληλη εκδοχή μου στον διάδη για τον πίνακα 500x500  χρειάζομαι 0.67 secs για την εντολή Memcpy() και οι υπολογισμοί που γίνονται στην GPU διαρκούν ελάχιστα . Το σειριακό πρόγραμμα για 10 γενιές θέλει 0.09 secs,για 100 0.9 και για 1000 9 , οπότε μόνο από εκεί και πέρα παρατηρώ σοβαρή επιτάχυνση.
Το λογικό είναι να συνυπολογίσω και τον χρόνο της μεταφοράς, αλλά αν θέλω να πετύχω επιτάχυνση σε αυτήν την περίπτωση, πρέπει να στέλνω ένα μικρό κομμάτι του πίνακα και να επικαλύπτω την μεταφορά του επόμενου με υπολογισμούς στην Gpu , αντί να στέλνω με την μία τα 250000 στοιχεία...
Μήπως η επιτάχυνση που ζητείται δεν αφορά τον συνολικό χρόνο, αλλά κάποιον δείκτη της μορφής evaluated cells/second? Θα με βόλευε πολύ 

[Exomag]

Να ρωτήσω κάτι κι εγώ:
Όταν πάω να μετρήσω την επιτάχυνσή μου πρέπει να συνυπολογήσω και τον χρόνο που χρειάζεται η μεταφορά των δεδομένων από την CPU στην GPU? Δεν έχω τεστάρει πολύ το πρόγραμμά μου  και δεν είμαι σίγουρη για τα νούμερα, αλλά σε αυτήν την φάση παρατήρησα τα ακόλουθα: τρέχοντας την παράλληλη εκδοχή μου στον διάδη για τον πίνακα 500x500  χρειάζομαι 0.67 secs για την εντολή Memcpy() και οι υπολογισμοί που γίνονται στην GPU διαρκούν ελάχιστα . Το σειριακό πρόγραμμα για 10 γενιές θέλει 0.09 secs,για 100 0.9 και για 1000 9 , οπότε μόνο από εκεί και πέρα παρατηρώ σοβαρή επιτάχυνση.
Το λογικό είναι να συνυπολογίσω και τον χρόνο της μεταφοράς, αλλά αν θέλω να πετύχω επιτάχυνση σε αυτήν την περίπτωση, πρέπει να στέλνω ένα μικρό κομμάτι του πίνακα και να επικαλύπτω την μεταφορά του επόμενου με υπολογισμούς στην Gpu , αντί να στέλνω με την μία τα 250000 στοιχεία...
Μήπως η επιτάχυνση που ζητείται δεν αφορά τον συνολικό χρόνο, αλλά κάποιον δείκτη της μορφής evaluated cells/second? Θα με βόλευε πολύ 

Πρέπει να συμπεριλάβεις και τον χρόνο που κάνει το Memcpy στον συνολικό χρόνο, από τον οποίο θα υπολογίσεις την επιτάχυνση. Λογικό είναι άλλωστε, αν σκεφτείς ότι για να λύσεις το πρόβλημα σου τα Memcpy είναι απαραίτητα steps, και το να υπολογίσεις απλά τον χρόνο που κάνει για να τρέξει ο κώδικας στη GPU δεν χρησιμεύευει σε κάτι πρακτικό.