THMMY.gr

Ανέβηκε στο ethmmy http://alexander.ee.auth.gr:8083/eTHMMY/archive/118/downloadFile/6439/dip-2016-hw3.pdf

Ημερομηνία Παράδοσης: 7/7/2016

Καλό μας κουράγιο!

ΣΗΜΕΙΩΣΗ: ΑΝΕΒΗΚΕ 2η ΒΕΡΣΙΟΝ ΤΗΣ ΕΚΦΩΝΗΣΗΣ
ΣΗΜΕΙΩΣΗ2: ΑΝΕΒΗΚΕ 3η ΒΕΡΣΙΟΝ ΤΗΣ ΕΚΦΩΝΗΣΗΣ

(https://imgflip.com/readImage?iid=19176880)

Μπορεί κάποιος να με διαφωτίσει στα εξής;

1) Στη 2η σελίδα της εκφώνησης, λέει ότι οι "μερικές παράγωγοι υπολογίζονται με τη χρήση κατάλληλων συνελικτικών μασκών όπως έχουμε εξηγήσει στη θεωρία". Άρα κάνουμε συνέλιξη με έναν πίνακα της επιλογής μας από τους δύο που έχει η διαφάνεια 9 στη σελίδα 7;

2) Επίσης δεν έχω καταλάβει το σ^2 που περιλαμβάνεται στη συνάρτηση βάρους. Αφορά τη διασπορά των αποστάσεων της εικόνας από το (0,0); Είναι κάτι άλλο;

Αυτό ακριβώς είναι, όσο μεγαλύτερο το σ, τόσο πιο "ομαλά" σβήνει η συνάρτηση w καθώς απομακρύνεται απο το ( 0,0 ).

Ευχαριστώ! :)

Πόση ώρα κάνει να σας τρέξει η myDetectHarrisFeatures π.χ. στην originalImage του set1?

Στο paper λεει οτι για να υπολογισουμε τα Α,Β.C κανουμε συνελιξη μεταξυ των gradient και w.Mετα φτιαχνουμε με καθε στοιχειο Α(i,j) κτλ τον Μ;
Γιατι αλλιως ο Μ δεν μπορει να βγει 2*2
Eπισης για πειτε τι σ και k επιλεξατε;

Παιδιά το w τι μέγεθος θα το πάρουμε;

Επίσης η  harris του ματλαμπ επιστρέφει πραγματικούς αριθμούς για συντεταγμένες γωνιών... Πώς το κάνει αυτό; Με κελιά του πίνακα δεν παίζουμε για συντεταγμένες;

Εγώ το παίρνω έτοιμο απο το Matlab, καλώ την fspecial('gaussian') που επιστρέφει μια 3x3 gaussian μάσκα, υποθέτω οτι αρκεί.

Όσο αφορά τους πραγματικούς αριθμούς και γω το έχω απορία αυτό...

σωστός!

Εν τω μεταξύ η u-surf είναι πολύ περίπλοκη συνάρτηση ή είναι ιδέα μου ?

Δεν πρέπει να είναι ιδιαίτερα δύσκολη, απο τα λίγα που κατάλαβα, απλά φτιάχνουμε ενα τετράγωνο γύρω απο το σημείο ενδιαφέροντος και το σπάμε σε 16 υπο - περιοχές. Έπειτα για κάθε μια απο αυτή την περιοχή αθροίζουμε dx,dy,|dx|,|dy| για όλη την υπο - περιοχή και βάζουμε κάθε άθροισμα σε μια θέση.
Κάθε περιοχή λοιπόν έχει ενα 1x4 descriptor vector , έ τα βάζουμε όλα σε ένα vector και καταλήγουμε με ενα τελικό 1x64 vector που περιγράφει γενικά το σημείο ενδιαφέροντος.

Τώρα μια ερώτηση, αυτό το Haar wavelet response τι ακριβώς είναι ?
και πως θα το υπολογίσουμε

Εγώ τι κατάλαβα μέχρι τώρα απο το άρθρο που έχει στην παραπομπή για το U-SURF.
Παράγραφο 4.2:

"The size of this window is 20s " (πρώτη παράγραφος 4η γραμμή)
-Δηλαδή το μέγεθος του παραθύρου, δηλαδή του τετραγώνου γύρω απτο σημείο ενδιαφέροντος είναι 20s, όπου s τι είναι; Η διακύμανση του Gauss που χρησιμοποιήσαμε στο Harris? Και άρα το παράθυρο είναι 20χ20 ;;

Μετά απο κάτω λέει : "The region is split up regularly into smaller 4 × 4 square sub-regions. This
keeps important spatial information in. For each sub-region, we compute a few
simple features at 5 × 5 regularly spaced sample points. "

Άρα οι υποπεριοχές είναι 16 μέσα στο παράθυρο και άρα η κάθε μια είναι 5χ5 (για να χωράει ακριβώς).

dx,dy κατάλαβα πώς είναι η συνέλιξη της υποπεριοχής με το φίλτρο Haar (?) όπου haar 2x2 όπως τα έχουμε ορίσει με -1 και 0 ανάλογα την κατέυθυνση.

Αλλά έτσι τα dx,dy είναι και αυτά πίνακες (;;) .

Γενικά έχω μπερδευτεί με αυτά που λέει σε εκείνο το σημείο.

Άρα στα πρώτα συμφωνούμε, το haar πως το έχουμε ορίσει ?
Είχε πει ο ντέλο τίποτα μέσα στην τάξη ?

αυτό δν είναι : [-1 1] πχ για x και [-1 ; 1] για y?

Εμείς στην ταξη είχαμε δεί και αυτό:  [-1/2 -1 -1/2; 0 0 0 ; 1/2 1 1/2]

ρε παιδια εγω καταλαβαινω οτι οι περιοχες ειναι 4x4.. δειτε και αυτο
http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_feature2d/py_surf_intro/py_surf_intro.html

For feature description, SURF uses Wavelet responses in horizontal and vertical direction (again, use of integral images makes things easier). A neighbourhood of size 20sX20s is taken around the keypoint where s is the size. It is divided into 4x4 subregions. For each subregion, horizontal and vertical wavelet responses are taken and a vector is formed like this, v=( \sum{d_x}, \sum{d_y}, \sum{|d_x|}, \sum{|d_y|}). This when represented as a vector gives SURF feature descriptor with total 64 dimensions. Lower the dimension, higher the speed of computation and matching, but provide better distinctiveness of features.

Πάντως κάθε feature vector (για κάθε σημείο) θα έχει διάσταση 1x64 (και η built-in της matlab τοσο τα βγάζει τα SURF feature vectors).
και γω στην αρχή μπερδεύτηκα με το πως το εξηγούσε το άρθο αλλά το να χωρίζεις σε 16 συνολικά περιοχές βγάζει περισσότερο νόημα νομίζω.

Τσέκαρε και σε αυτό το paper το fig. 12 στη σελίδα 7

http://www.cs.jhu.edu/~misha/ReadingSeminar/Papers/Bay08.pdf (http://www.cs.jhu.edu/~misha/ReadingSeminar/Papers/Bay08.pdf)

Ευχαριστω! Εχει καταλαβει κανεις πως βρισκονται τα dx,dy; Για την ακριβεια εχω την ιδια απορια που ειχε και ο greekoo πριν..τα dx και dy δεν ειναι πινακες μετα την εφαρμογη του haar;

Ναι είναι παρόμοια με τα Ix,Iy του προηγούμενου ερωτήματος, είναι ένα μέτρο. Τώρα ποιος είναι ο πίνακας haar δε ξέρω :)
Υποθέτω οτι δεν υπάρχει μονο μια σωστή λύση, είτε [-1 1]΄είτε [-1 1;-1 1] ας πούμε δίνουν το ίδιο αποτέλεσμα απλώς η 2x2 μάσκα
έχει λίγο πιο "έντονα" τα λευκά.

Έχω μπερδευτεί πολύ  :P

Είπαμε έχουμε 16 υπο-περιοχές σε ένα παράθυρο 20x20. Άρα κάθε υπο-περιοχή είναι 5x5.

Είπαμε πώς απο κάθε υπο-περιοχή θα πάρουμε τέσσερα πράγματα: dx,dy,|dx|,|dy|

Λογικά (?) dx = conv2(haarx,subregion) και ομοίως dy =conv2(haary,subregion) όπου haarx [-1,1] haary = [-1,1]'

Όμως έτσι τα dx,dy είναι και αυτοί πίνακες.

Εμείς όμως θέλουμε κάθε υπο-περιοχή να μας δώσει ένα διάνυσμα 1x4 δηλαδή τα dx,dy πρέπει να βγούν αριθμοί.
Αρα τι γίνεται εδώ; Μήπως όταν γράφει Σdx, εννοεί το άθροισμα όλων των στοιχείων του πίνακα dx?

Και εν τέλει για όλες τις 16 περιοχές θα έχουμε το τελικό feature describor 1x64 για κάθε σημείο.

yep  :D

Κάθε υπο-περιοχή θα μας δώσει ένα άθροισμα 25(5χ5) στοιχείων, δηλαδή θα αθροίσουμε τα 25 dx που ανήκουν στην υποπεριοχή και θα τα βάλουμε στην πρώτη θέση, μετά τα dy, τα |dx|, τα |dy|. Αυτά θα μας δώσουν ένα 1x4 διάνυσμα. Ε θα μαζέψουμε όλα τα διανύσματα και θα τα βάλουμε σε ενα συνολικό για το σημείο που θα βγαίνει 1x64.

Νομίζω πως τα dx και dy μπορούμε να τα πάρουμε κατευθείαν στην αρχή με conv2( I , haar ) και conv2( I , haar' ) για μεγαλύτερη ευκολία (και λιγότερο χρόνο). Απλώς θα αντιπροσωπεύουν τις τιμές σε όλη την εικόνα και εμείς θα διαλέγουμε μετά την υποπεριοχή που θέλουμε.

Πολύ πιθανό να κάνω λάθος όμως  :D :D

Ας επιβεβαιώσει κάποιος

Στον harris detector έβγαλε κανείς τιμές για τα σ, k και το κατώφλι ώστε να παίρνουμε λίγα σημεία, και αυτά να είναι στις περιοχές που θέλουμε-περιμένουμε να είναι για την πρώτη εικόνα?

Εγώ το κρατάω k=0.08 και s = 1 και είμαι ικανοποιημένος, βέβαια εξαρτάται απο την υλοποίηση. Στην αρχή που είχα πολλά σημεία, βρήκα στο i-net οτι μπορείς να κρατήσεις απλά τα τοπικά μέγιστα μέσα σε ένα "μικρό παράθυρο" (π.χ. 9x9 pixel ή και παραπάνω) έτσι ώστε να μην έχεις συγχώνευση απο σημεία που είναι πολύ κοντά μαζί. Αυτό το βήμα (να κρατήσεις μονο τοπικά μέγιστα) το εφαρμόζεις πριν το threshold.



==================================================================================================================

κάτι άλλο τώρα, στην findAffineTransform, γιατί χρειαζόμαστε ακριβώς 3 σημεία ? Έτσ όπως μας την ορίζει, νομίζω πως μπορώ να αφαιρέσω απο την πρώτη σχέση την δεύτερη και να βρω τον Α, έπειτα απλα αντικαθηστώ οπουδήποτε και βρίσκω και το B, όχι ?

έχεις 6 αγνώστους, α11, α12, α21, α22 , β1 και β2, γι αυτό χρειάζεσαι 6 εξισώσεις για να τους βρεις κάθε φορά

το haar με μέγεθος 2s εννοεί ότι θα πολλαπλασιάζουμε απλά διαδοχικά δειγματοληπτημένα σημεία με -1 και 1? Δηλαδή αν πάρουμε τον πίνακα με τα σημεία τα οποία έχουν μείνει μετά την δειγματοληψία, Haar 2s είναι αυτό που λέτε, [-1 1]?

Στο ερώτημα 3, πολλές φορές ο ρανσακ βγαζει μετασχηματισμό που με πετάει εκτός ορίων.
Επίσης ο πίνακας περιστροφής A είναι τέτοιος που χαλάει την εικόνα πάντα.

Μήπως φταίει που επιλέγω τον πρώτο μετασχηματισμό με τις περισσότερες ψήφους και αν ναι ποιο κριτηριο να βάλω;

Μπορεί κάποιος να εξηγήσει πώς βρίσκουμε τα points of interest στο 2ο ερώτημα?Ή σε ποιο σημείο του paper έστω αναφέρονται?Το διάνυσμα μεγέθους 64 θα προκύψει για κάθε ενδιαφερόμενο σημείο ?

Τι εννοείς εκτός ορίων ?


Βρες το paper που αναφέρετε στο pdf της εργασίας και διάβασε το κεφάλαιο 4.2, στο internet δεν μπόρεσα να βρω κάτι άλλο που να το εξηγεί καλύτερα. Απο κει και πέρα οπου κολλάς ρώτα :)

Καλησπέρα , για το 2ο ερώτημα δεν είναι λογικό το παράθυρό μας για να έχει κέντρο το interest point να είναι 21x21 ; Αυτό με την σειρά του όμως αφήνει έναν "σταυρό" σημείων έξω από τους υπολογισμούς . Έτσι πρέπει να υλοποιηθεί;

μπορείς να διώξεις την τελευταία στήλη και σειρά αντί να κάνεις αυτό με τον σταυρό, δεδομένου ότι τα σημεία αυτά είναι σημαντικά καθώς είναι κοντά στο interest point

σωστά ναι , ευχαριστώ

Τελικά πόσο χρόνο σας παίρνει να τρέξει η myDetectHarrisFeatures; Αξίζει να προσπαθήσω να τον μειώσω; Εμένα για το segment1 με την πολυκατοικία παίρνει 5 λεπτά. :-\

Βγαίνει σχεδόν στιγμιαία αν κάνεις πράξεις μόνο με πίνακες και δεν μπλέξεις με λούπες. Απο σένα εξαρτάται αν έχεις όρεξη να τον μειώσεις :)


=====================================================================================================================

Στο 3.2 πώς ακριβώς υπολογίζουμε την σχετική θέση του χωρίου ως προς την εικόνα ?
Χρησιμοποιούμε με κάποιον τρόπο την ransac ?

Ευχαριστώ! :)

Κάποιο τσακάλι που τελείωσε να χελπάρει να πάμε και μεις διακοπές 2 μέρες πιο νωρίς δεν παίζει ?  :D

Έχω σκαλώσει στο 3.2 γενικά, μπορώ να καταλάβω τι θέλει να κάνω πρακτικά, αλλά όταν πάω να το υλοποιήσω σκαλώνω.
Κανά μπούσουλα ?

Από το άρθρο [2] δεν μας νοιάζει να υλοποιήσουμε το 4.1; Απλά το προσπερνάμε;

yep. θελουμε για μικρές γωνίες

Παιδιά στο harris πόσα περίπου σημεία ενδιαφέροντος βγάζεται για το segment1? Εγώ βγάζω 10. Τα 9 στέκουν είναι δηλαδή κάτω δεξιά εκεί που είναι οι γωνίες. Το ένα όμως απτα 10 δεν στέκει καθόλου (μου βγάζει ότι είναι το (3,3) ) .

Σε μερικές υλοποιήσεις online Κάνουν κάτι διαστολές των σημείων ενδιαφέροντος (dilated image) για να πάρουν τελικά τα τελικά σημεία. Γιατί το κάνουν αυτό;

Αυτό με το dilate που λες είναι τμήμα του non-maximum suppression έχω την εντύπωση ,το οποίο το χρησιμοποιείς για να "διώξεις" το ψευδο-interest points .
Όσο για το το πόσα βρίσκεις , στο segment 1 αυτό είναι καθαρά θέμα threshold , δεν νομίζω οτι έχουμε κάτι συγκεκριμένο.

να ρωτηξω κατι
στην SURF αν καποια σημεια ειναι στα ορια της εικονας,πως κανετε το παραθυρο 20*20;
κανετε απλα ενα παραθυρο χωρις να ναι κεντρο το σημειο;

Εγώ επέκτεινα τον πίνακα I με μηδενικά γύρω γύρω. Άρα ουσιαστικά αν ένα σημείο είναι στα όρια τότε περικλείεται απο μηδενικά.


ΕΔΙΤ:


για τι τάξη μεγέθους threshold Μιλάμε;  10^3 ;;

c 8))  8)) l

Αυτό σκεφτόμουν κι εγώ , αλλά είναι πιο απλό . Απλά πχ αν έχεις ενα παραθυρο 20χ20 φαντασου οτι το κεντρικό σου σημείου θα είναι στην θεση (10,10) και με βάση αυτό χτίσε τον κώδικά σου .

Τώρα σε περιπτώσεις που βγαίνει εκτός εικόνας το παράθυρο εγώ έδωσα τιμή 0 στο αντίστοιχο κελί του πίνακα που θα συνελιχθεί με τον Haar 2x2 .

ψ  8))  8)) λ

Εγώ συνειδητοποίησα πως ανάλογα την εικόνα πρέπει να επιλέξω διαφορετικό threshold.
Τώρα άμα πρέπει να το υπολογίζει μόνος του ο αλγόριθμος δεν ξέρω :-/

edit: Π.χ. για τις πολυκατοικίες χρησιμοποιώ 10-50 αλλά για τα τριγωνάκια ~1

Μία λεπτομέρεια:
Ούτε εγώ είμαι σίγουρος, απλά διορθώνω να καταλάβω ότι είμαστε στο ίδιο page :P

Δε σε πιάνω μαν μου, γιατί (5 + 2 -1) x 5 ?

================================================================================================


Απο την άλλη, εγώ για τα οριακά σημεία απλά δεν τα έλαβα καν υπόψη μου στο τμήμα του Harris. Πήρα μια 'μαύρη' μάσκα που σβήνει ολα τα σημεία εντός 10 πιξελ απο τα όρια της εικόνας. Έτσι κι αλλιώς η πληροφορία που θα προσφέρουν δεν θα είναι ολόκληρη, και έτσι (ή και με το γενικά να επεκτείνεις τον πίνακα με μηδενικά) δεν καθυστερείς στον Surf.

dx1 = conv2(subregion,haar_x1);
dx2 = conv2(subregion,haar_x2);
            
Sdx1 = sum(dx1( : ));
Sdx2 = sum(dx2( : ));
Adx1 = sum(abs(dx1( : )));
Adx2 = sum(abs(dx2( : )));

όπου haar_x1 =[-1 ;1] Και haar_x2 = haar_x1'  

Για ποιο λόγο τα Sdx1 και Sdx2 μου βγαίνουν πάντα μηδέν; Αντιμετώπισε κανείς άλλος αυτό το πρόβλημα;

Γτ τα 5x5 blocks συνελλίσονται με μάσκα 1x2 και 2x1

Αν χρησιμοποιήσεις το conv2(...,...,'same') σου κρατάει μονο τα σημαντικά σημεία της συνέλιξης, δηλαδή όλα οσα υπήρχαν και στην αρχική σου εικόνα, τα έξτρα τα αφαιρεί.

Έχουμε κανέναν λόγο να το κάνουμε αυτό;

Επίσης όταν λέει: To increase the robustness towards geometric deformations and localisation errors, the responses dx and dy are first weighted with a Gaussian (σ = 3.3s) centered at the interest point. Σημαίνει πως πολλαπλασιάζουμε το 20x20 αποτέλεσμα όλων των συνελίξεων με μία fspecial('gaussian', 20, 3.3) ?

Τέλος ξέρει κανείς με τι σειρά τοποθετούνται οι υποπεριοχές στο αποτέλεσμα της extractFeatures της Matlab για να τσεκάρουμε το αποτέλεσμά μας;

το πρώτο δεν είναι ανάγκη να το κάνεις, αλλά είναι χρήσιμο ειδικά αν έχεις μεγάλες μάσκες

στο δεύτερο ναι, για να κρατήσεις ως πιο σημαντικές τις κεντρικές

στο 3ο δεν έχει σημασία, αφού για όλα τα σημεία η σειρά θα είναι ίδια

Απλά βρίσκω πολύ διαφορετικά αποτελέσματα από την συνάρτηση της matlab και προσπαθώ να βρω που είναι το πρόβλημα  :-\

Εννοείες πώς πολλαπλασιάζουμε την περιοχή 20x20 με την fspecial, πριν υπολογίσουμε τα wavelet responses με τα haar? Και θα είναι element-wise multiplication ή κανονικά πίνακα με πίνακα?

Για την possiblepairs  τι threshold είναι καλό να δοκιμάσουμε ; Γιατί αλλιώς αν το πάρουμε με minimum MSE δεν υπάρχει περίπτωση να δουμε σημείο που να μην ταιριάζει με κανένα.

edit: καλύτερα να είναι κάτω από 0.3

Αφού υπολογίσεις τα dx,dy τα κάνεις conv2 με την μάσκα που σου επέστρεψε η fspecial.

Πως βρίσκουμε ακριβως τα σημεία ενδιαφέροντος στο 2ο ερώτημα? Οκ αυτό με τις περιοχές αλλα αναγνωρίζουμε ποια θα είναι τα σημεία για τα οποία θα κανουμε όλα τα παραπάνω που λέτε? Η το κανουμε για όλα τα σημεία?

είναι τα σημεία που έχεις βρει στο πρώτο ερώτημα με την myDetectHarrisFeatures().

Παιδια επειδη ο χρονος πιεζει μπορει να μου πει καποιος ενα καλο threshold για την possiblePairs και να γλυτωσω το trial and error?

Στην findAffineTransform θέλουμε 3 σημεία. Όμως στο segment_1 από το set1 υπάρχει μόνο μία γωνία. Υπάρχει τρόπος να επιλέξουμε σημεία με την δικιά μας κρίση για να βγάλουμε αποτέλεσμα;

Στην detectHarris το αποτέλεσμα σας ειναι πανομοιότυπο με αυτό του toolbox?Γιατι εμένα η μορφή ειναι παρόμοια αλλα υπάρχει εμφανής διαφορά στα σημεία.Τι threshold βάλατε?
Στην surf interest points θα τα διαχειριζόμαστε με τη μορφη (row(i),column(i)) ,οπου [row,column] αυτά που βρίσκουμε στην detectHarris?

Μόλις την υλοποίησα και τα χειρότερα immse ανάμεσα στο segment_2 και 3 βγαίνουν της τάξης του 10^-6.
Οι υπόλοιποι τι αποτελέσματα βγάζετε;

edit: Άκυρο, πρέπει να είχα κάνει λάθος τα indexes στην extractSurfFeatures

edit2: Της τάξης του 10^-4.

Πο φίλε εγώ βγάζω πολύ διαφορετικά αποτελέσματα!

Το μικρότερο Mse που βγάζω είναι 200, και το μεγαλύτερο είναι της τάξης των χιλιάδων (10^3) .

Πώς γίνεται να βγάζεις τόσο μικρά;

Πχ η ενa feauture vector του segment 2 είναι αυτό εμένα:

40,40,40,40,40,40,37,38,37,...,37,80,70,106,..110 (το μεγαλύτερο είναι 110 κάπως έτσι)

Δηλαδή βάζω threshold γύρω στο 500 με 1000...

Επίσης ρε παιδιά επειδή όντως ο χρόνος πιέζει μπορεί κάποιος να εξηγήσει λίγο καλύτερα την canvas=stitch(canvas,image,segment) ? 

To image και segment θα τα δινουμε ως ορίσματα σε μορφή εικόνων 2 διαστάσεων (και έπειτα μέσα στην stitch θα τους αλλάζουμε μορφή) ή στην μορφή 3 στηλών όπως εξηγεί στην εκφώνηση;

Ακόμη, το image θα είναι πάντα το originalImage και to segment θα είναι τα 1,2,3 κάθε φορά? Άρα μέσα στην stitch θα πρέπει να βρίσκουμε possiblePairs μεταξύ image Και segment?

+1

Ναι.

Μήπως δεν έχεις κανονικοποιήσει την εικόνα σε intensity [0,1] ;

Γιατί να το κάνω αυτό;;  :???:

Γιατί στο ζητάει στην αρχή  ;D :D

Πώωω αν είναι δυνατόν... Στην εκφώνηση του harris το λέει στο τέλος  >:(

Παιδιά στον affine  ψάχνουμε τους πίνακες Α και Β του μετασχηματισμού. Σαν input της findAffineTransform μας ζητάει 2 πίνακες ένας input και ένας το output του input μετά από affine μετασχηματισμό.

Αυτό που πρέπει να κάνουμε στην ουσία πριν χρησιμοποιήσουμε την "findAffineTransform" είναι να δώσουμε 3 τυχαια corners από τον Harris , να κάνουμε affine2d για rotation , scaling και translation και μετά απλά να βρούμε τους πίνακες που χρησιμοποιήθηκαν γι αυτό;

Επίσης αφού μας ζητάει έναν Α και δεν έχουμε rotation στην άσκηση (νομίζω δεν έχουμε έτσι;) θα βάλουμε  γωνία 0 οπότε θα είναι ο ίδιος πίνακας A με το scaling ?

 :o :o :o :o

Τις εικόνες τις μετατρέπω πρώτα σε double από 0-1 και τα feature vectors τα κανονικοποιώ

Μπορεί να υπάρχει μικρή γωνία, η οποία μπορεί μεν να μην επηρρεάζει πολύ το αποτέλεσμα της U-SURF αλλά στην συνένωση να χρειάζεται να την λάβουμε υπόψιν.
Δεν έχω φτάσει ακόμα εκεί, το λέω με την λογική μου, οπότε μην το δένεις και κόμπο :P
Επίσης στο set1 υπάρχει μόνο μία γωνία. Πρέπει να κλέψουμε; (π.χ. να πάρουμε το κομματάκι που φαίνεται και να υπολογίσουμε το scaling, θεωρώντας rot=0?)

υπολογίζει την σχετική θέση του χωρίου ως προς την εικόνα

Παιδια τι ειναι το image και τι το segment στα 2 ερωτηματα... ειμαι μπερδεμενος

Επίσης στο πρώτο ερώτημα ζητάει Corners . Στα υπολοιπα που έχουμε ως εισοδο στις συναρτήσεις μας Interest Points , βάζουμε τα πάντα ;;; Δηλαδή και edges και corners?

όχι, τα corners είναι τα σημεία ενδιαφέροντος. άμα βάλεις και άλλα θα γίνει ένας χαμός!

Στον ransac λέει: Επίσης, δεν είναι αποδεκτό δύο σημεία της μίας εικόνας να είναι ικανά κοντά στη ίδιο σημείο της άλλης εικόνας.
Αυτό σημαίνει πως άμα το μετασχηματισμένο σημείο πέσει κοντά σε 2 σημεία της δεύτερης δεν το μετράμε ή το μετράμε σαν 1;

σαν ένα, αλλιώς είναι σαν να λες ότι αυτό το σημείο είναι και το ένα και το άλλο.

Μπορεί κάποιος να εξηγήσει πως ακριβώς επιλέγω κατάλληλο threshold για τον Harris; Υπάρχει κάποιο κριτήριο; Γιατί εγώ δε μπορώ να βρώ κάπου να γράφει κάτι σχετικό, και προσωπικά έχω δοκιμάσει διάφορα αλλά μέχρι στιγμής δεν έχω κάποιο αξιόπιστο τρόπο να ελέγχω αν ένα threshold είναι καλό για μια δεδομένη εικόνα εισόδου.

βλέποντας και κάνοντας είναι η φάση. εγώ επέλεξα τις παραμέτρους στο harris ώστε να έχω όλες τις κορυφές, και κανένα περιττό σημείο. αλλά πήρε πολλά τρεξίματα για να βρεθούν

Και γω λιγο πολύ αυτο έκανα, απλά δεν είναι ιδιαίτερα καλό, γιατί ένα threshold που είναι καλό για μια εικόνα, να είναι χάλια για μια άλλη. Θα προτιμούσα κάποιο μηχανισμό που υπολογίζει ένα καλό αντί να το βάζω εγώ με το χέρι και trial and error, αλλά απότι βλέπω παίζει να μην υπάρχει καν κάποιος καλός τροπος.

Τα αποτελέσματά σας τα ελέγχετε για την εικόνα cameraman.tif που προτείνει ή για κάποια από αυτές στο zip; Όταν λέτε για threshold επίσης εννοείτε την τιμή που δίνει threshold >> 0 = true; Στον τελευταίο έλεγχο δηλαδή...

πράγματι παίζει να μην υπάρχει, για την  original χρησιμοποίησα κατώφλι 10 φορές μικρότερο από τα segment. Ο Ντελόπουλος είπε ότι μπορούμε να περνάμε το κατώφλι σαν παράμετρο

Μια ερώτηση έκανε κανένας τον USURF descritor χωρίς να περνάει τις τοπικές /edit (20x20) εικόνες με gauss;

Τα dx dy μετα από τη συνέλιξη βγαίνουν 5Χ6 και 6Χ5 επομένως τι διάστασης πρέπει αν είναι ο gaussian με τον οποίο τα πολλαπλασιάζουμε?

Γενικά ο gaussian για να είναι fixed sized με σ=3.3 μου βγαίνει 19x19  και βλέποντας το figure 14 από το paper που επισυνάπτω (δεν θυμάμαι το link) δεν κάνεις στην μεγάλη εικόνα άρα μάλλον θα είναι 5χ5 η  gauss μάσκα με την fspecial. Δεύτερον χρησιμοποίησε την conv2(original,mask,'same') ώστε να μην σου αλλάζει την διάσταση η συνέλιξη.
/edit Βέβαια  στην παράγραφο 3 τα λέει αλλιώς. Ας πει κάποιος τι έκανε στην gauss.

Παιδιά στο κομμάτι της ransac που σου ζητάει να βρεις το k.

Χρησιμοποιώ την "findAffineTransform" που έχω φτιάξει από πριν , βρίσκω Α,Β (υποθέτω χωρίς τον περιστροφικό μετασχηματισμό...) , μετά μετασχηματίζω με τον ίδιο τρόπο(ιδιους πινακες, ιδια σειρά μετασχηματισμών) όλα τα σημεία ενδιαφέροντος της εικόνας 1  και μετά τι;

Λέει να κάνουμε ανωφλίωση για να βρούμε πόσα απο τα μετασχηματισμένα της 1 είναι "ικανά κοντά" στα σημεία της 2. Υποθέτω θέλει να θέσουμε ένα άνω όριο κάτω αλλά πώς προκύπτει αυτό το όριο.

Πρέπει να ελέγξουμε από πριν μεταξύ των pairs όλες τις αποστάσεις τους και να πάρουμε μέσο όρο; Δείχνει πολύ χρονοβόρο και λάθος ...

έχει κανεις καμια ιδέα;

επισης, στον USURF, οταν η 20x20 περιοχη πεφτει εν μερει εκτος πινακα/εικονας αν το σημειο ενδιαφεροντος ειναι κοντα στην ακρη, τι κανετε?

Είτε μπορείς να κάνεις padding  είτε με έλεγχο για εκτός όρια να βάζεις 0.

το padding το σκεφτηκα, αλλα φοβηθηκα μην επηρεασει το αποτελεσμα, γιατι τα μηδενικα θα εκληφθουν ως σκοτεινη περιοχη. τελος παντων, θα κανω κατι τετοιο να τελειωνει, γιατι εχω αρχισει να βαριεμαι

Αποκλείω από την επιλογή sallient point τα pixel που απέχουν λιγότερο από 50 pixel στα όρια.

Λοιπόν για να δούμε. Αποτελέσματα possible pairs τα πράσινα sallient points, τα κοκκινα είναι τα match που μου έχει κάνει

γενικά για την κανονικοποιηση έχω κάνει το εξής εάν υπάρχει αρνητικός [κατφλίωση με το abs(min) άρα είναι πια θετικός ο αριθμός.
Δεν έχω βάλει gausian.
/edit είχα ένα προγραμματιστικό λάθος αλλά πάλι μου βγάζει παρόμοια αποτελέσματα. Στην possiblepairs με κανονικοποίηση τι thresshold βάζετε ;

Μου βγαίνει και εμένα το mse των features 1.xxx
Καμία ιδέα? Την εχω κανει την εικόνα στο [0,1] . Υπάρχει περίπτωση να φταίει πως η DetectHarris Δε βγαίζει ακριβώς ίδια αποτελέσματα με αυτό του toolbox?

 ps.Για κανα τριήμερο παράταση να ζητήσουμε παίζει η ούτε καν?

2) Του ειχα στειλει να τον ρωτησω εστω για 1 μερα γιατι εχει  εξεταση μαθηματος αυριο και ειπε οχι.
1) Αν θες να ελεγξεις αν δουλευει σωστα η U-SURF νομιζω ο μονος τροπος ειναι να υλοποιησεις και την possiblePairs και να τα τρεξεις σε ενα μικρο demo.

Ερωτηση, θα πρεπει να κρατησουμε και τις "κατω" γωνιες που εχει? (πχ στην αρχη και στο τελος της original του set_1)

Δεν νομίζω  ότι πρέπει ... Εάν κάνεις zeropadding στην USURF θα πρέπει να μπορεί να σου δώσει ένα descriptor αλλά σκέψου ότι θα μοιάζει με όσους έχουν μια παρόμοια εναλλαγή ( σημεία στο πάνω όριο με σημεία στο κάτω όριο) αφού δεν κάνουμε SURF και δεν νομίζω ότι χρειάζεται

Τωρα που ειπαμε segment_1. Το segment_1 οταν συγκρινω γωνιες του με την original, μου βγαινει οτι ειναι και στις 3 κορυφες του original. Τι κανω εκει;

Με πιο σφιχτό όριο. Την κανονικοποίηση την κάνω ως προς το κάθε 1x16 διάνυσμα όχι όλο το 1x64. Καμιά σκέψη κανείς ;

Και μια ακόμη, και μετά πάω affine ...

+1

Οτι εχω υλοποιησει λεω , αρα καθε διορθωση επιθυμητη.
Βρισκεις την θεση των σημειων του segment ως προς το image που στο πρωτο σετ μπορεις να χρησιμοποιησεις την συνολικη εικονα και εχεις πολυ καλα αποτελεσματα  και τα βαφεις.
Για το 2ο σετ , αυτο που σκεφτομαι ειναι να βαλω εναν τεραστιο καμβα και θα θεωρησω μια εικονα σταθερη και  να βρω τις συντεταγμενες των αλλων 2 ως προς αυτη που θα θεωρησω σταθερη

Στην possiblepair () για είσοδο εικόνων .jpg σας πετάει και εσάς error η detectharris?Κάτι γίνεται και δε δουλεύει όπως με το cameraman.tif

Οχι. Που κολλαει η possiblePairs με το ειδος της εικονας. Τα features θελει απλα.

Λάθος το διατύπωσα.Εννοω πως ενώ με τoν καμεραμαν τα corners βγαινουν κανονικα,με τις segment_i μου βγαινουν οτι ναναι.Θέλει πείραγμα το threshold?Το εχω κοντά στο 0.0x . Η μαλλον κατι παιζει με τον κώδικα μου?

Ε ναι ρε. Απο εικονα σε εικονα αλλαζει το threshold.

Εγώ κατάλαβα πως ο canvas Μπορεί να έχει ήδη μια, δυο, τρεις εικόνες και απλά εμείς την Image την δίνουμε για να υπολογίσουμε τον μετασχηματισμό και το segment είναι αυτό που θα κολήσουμε σαν κολάζ στον canva. :-\

Τελικά για το treshold όσον αφορά τόσο την Harris όσο και μετέπειτα την possiblePairs δεν υπάρχει κάτι?Στην τύχη και ό,τι βγει?

στην τυχη οτι σου κατσει καλυτερα

Καταλαβα πως εχεις δικιο με τον δυσκολο τροπο, αλλιως το προγραμμα τρεχει μια αιωνιοτητα.

Μέσα στην canvas, να μετασχηματίζουμε μόνο τα σημεία ενδιαφέροντος, ή όλα (ακόμα και τα μαύρα πιξελς) τα σημεία κάθε σεγμεντ;

όλα ρε, δεν θα φαίνεται τίποτα αλλιώς

χαχα γιατί τώρα φαίνεται :P

Ποστάρω τον πίνακα A και το διάνυσμα Β που μου επέστρεψε η myransac για το originalImage με το segment2:

A= [  0.0141   -0.0016;
    0.0060    0.0011]

B= [492.6024;
   43.9095]

Είναι λογικά αποτελέσματα;

Γιατί πχ, έστω για το σημείο 20,30 του segment2 τότε ο αντίστροφος affine θα δώσει: (χ1=20 χ2=30)

P =  A  \  ( [x1 x2]' - B ) ;

 1.0e+05 * [-0.2159; 1.0512]

τα οποία είναι εντελώς άκυρα  :D

παιδιά κάποιος να εξηγήσει τι παίζει με την stich (3.2) !
1) H canvas που βάζουμε η αρχική είναι λευκή και θέλει να βρούμε τη σχετική θέση του segment ως προς το image και να τα βάλουμε και τα δύο στο canvas απλά με το segment κατάλληλα συνδεδεμένο στην image πάνω?
2) H γραμμική παρεμβολή αναφέρεται σε τι ακριβώς? Ποιες συντεταγμένες παρεμβάλονται μεταξύ τους?
3) Tη σχετική θέση του segment ως προς το image θα την υπολογίσουμε μέσα στη stich καλώστας την myransac?

...θα μου πείτε τέτοια ώρα τέτοια λόγια αλλά μία τελευταία προσπάθεια...

Παιδιά επειδή πρέπει να έχω λάθος στην Surf και τα κουβαλάω και στο επόμενο ερώτημα τα λάθη
*Βρίσκουμε τα dx,dy,|dx|,|dy| όλης της εικόνας (όχι αναγκαστικά για κάθε περιοχή ξεχωριστά)
*Στην κάθε περιοχή 20χ20 εφαρμόζουμε φίλτρο Gaussian (...20,σ)
*Υπολογίζουμε το sum(sum((dx,dy,|dx|,|dy|))  για κάθε υποπεριοχή και αθροίζουμε
*Τα αποτελέσματα τα βάζουμε στη γραμμή του αντίστοιχου descriptor,4*16(υποπεριοχες)=64 για κάθε σημείο ενδιαφέροντος.Έστω πίνακας Vector[][] που περιέχει τα [Num,64] διανύσματα για κάθε σημείο
Σωστά μέχρι εδώ?
Όταν κάνω mse(norm(Vector)-norm(features)) όπου features αυτά που μου επιστρέφει η extractFeatures μου δίνει error τάξης 10^9
Δε το πιανω τι παει στραβά

Για το μεσο τετραγωνικο σφαλμα για τα possiblepairs τι τιμες χρησιμοποιησατε και για ποιες απο αυτες πηρατε καλα αποτελεσματα?

Νομίζω πρέπει να εφαρμόζεςι την gaussian σε κάθε dx και κάθε dy κι όχι σε όλη την υποπεριοχή 20Χ20...αλλά δεν είμαι σίγουρος :-\

1000...φαντάσου τι τάξης σφάλματα βγήκαν   :D

  :o Με τοσο μεγαλο κατωφλι εμενα θα μου βγαλει ολα τα σημεια σαν ζευγαρια. Βαζω threshold 10^-4 και βρισκει 72 possiblePairs και μου φαινονται αρκετα, δεδομενου οτι στην detectCorners εχω κρατησει μονο τις κορυφες με καταλληλο κατωφλι.
ΤΙ ΦΑΣΗ   :o  :o

Στην PossiblePair πόση ώρα σου τρέχει?
Με το nested for εμενα τρεχει πααααρα πολυ ωρα για τις segment_i

Πολυ συντομα βγαινουν τα αποτελεσματα. Παιζει να χω κανει καμια πατατα και να μην εχω πρεφαρει τιποτα, δεν ξερω...  :-\

θες να πεις μήπως ανώφλι?? εγω βγάζω σφάλματα της τάξης 10^4 και προφανώς κάνω κάτι λάθος..αλλά το ζητούμενο είναι να κρατήσεις αυτα για τα οποία έχεις το μικρότερο. Πάντως το νούμερο72 ακούγεται μια χαρα

Οχι οχι, κατωφλι εννοω. Τιμη με την οποια συγκρινω και αν το σφαλμα ειναι μικροτερο, τοτε καταχωρω i,j στον πινακα R. (οπου i,j οι θεσεις πινακων των features)

Αυτο που με προβληματιζει ειναι οτι για τις εικονες που χρησιμοποιησα, ο features1 εχει μεγεθος 65x64 και ο features2 εχει μεγεθος 24x64. Αρα, ειναι λογικο να εχει 72 possiblePairs?

ε ναι νομίζω αυτό ονομάζεται ανώφλι ενώ αν συγκρίνεις με τιμή που θες να ξεπερνάς πάντα, εκείνο είναι κατώφλι.
ε μάλλον μερικα μοιάζουν με παραπάνω από ένα και δημιουργούν ζεύγη?

Χαχα εχεις δικιο, mindfucked

Παιδιά στο stitch  θα πω κι εγω την άποψή μου ( όλοι έχουμε μία...) μπας και ξεκολλήσω κανέναν και ξεκολλήσω κι εγώ, νομιζω εχω καταλαβει αλλά θελω λιγο γνώμες .

1) Λοιπόν  πρώτα περνάω σε εναν πίνακα  [sizeSegment(1)*sizeSegment(2),2]  τις ακέραιες συντεταγμένες του segment  . Είναι 500χ500 οπότε θα έχω κάτι του στυλ
[1 1;1 2;1 3;1 4;1 5;...;500 499;500 500]  -> 500*500 σημεία.

2)Αφού εφαρμόσω όλες τις συναρτήσεις που έχω από myDetectHarris μέχρι και myransac βρισκω τους κατάλληλους πίνακες A , B του affine transformation.

Τι είναι όμως αυτοί;

 Λοιπόν , αν τους εφαρμόσεις στο segment και το προβάλεις (υποθετικά αφού έχεις κάνει και την γραμμική παρεμβολή για τα intensities στην transformed)
στο canvas ( π.χ canvas=ones(3000)) θα πάρεις το segment στην θέση που το έχει το originalImage και με τα αντίστοιχα χαρακτηριστικά .

3)  Έστω λοιπόν ότι εφαρμόζουμε τους Α,Β με general affineTransformation στα ακέραια σημεία του segment (τα οποία είναι λίγο πιο πάνω) θα πάρουμε πολύ πιθανόν και αναλογα με τις τιμές των πινακων Α,Β δεκαδικούς για συντεταγμένες των νέων σημείων, αντί για τα ακέραια pixel που είχαμε .
Δεν πειράζει όμως γιατί οπώς λέει και στην εκφώνηση μια εικόνα μπορεί να είναι και ενας πίνακας με 3 στήλες με την 3η στήλη να περιέχει το intensity του σημείου.

To intensity όμως πώς θα το βρούμε ;

Εχουμε τις 2 πρώτες στήλες για την μετασχηματισμένη εικόνα που θα προβαλλουμε στον canvas αλλά μας λείπει η τρίτη με τα intensities .

Εδώ αυτό που έχουμε να κάνουμε είναι να κάνουμε γραμμική παρεμβολή στα intensities της original .  Πώς όμως;;;;;; 

Ισως αν γραφαμε μόνοι μας Interpolation συναρτηση  ως προς την original??

                                                                                 (http://i2.kym-cdn.com/photos/images/facebook/000/133/215/130783643800120110725-22047-1euk606.jpg)

Για το affine ,τον μετασχηματισμό του p2 τον κάνουμε με κάποια συνάρτηση απτο toolbox?και μετα απλά βρίσκουμε τους πίνακες Α , Β απτό  γραμμικό σύστημα?

όντως για τον affine αυτο που λέει να το αποδείξουμε μαθηματικά μπορεί να πεις κάποιος για την απόδειξη..γιατί προσωπικά κάτι κάνω αλλα σε καθε επανάληψη για κάθε ένα από τους συνδιασμούς των τριών σημείων μου βγαίνει άλλος A πίνακας επομένως δε ξέρω ποιος είναι ο σωστός

Ο αλγοριθμος του ransac λεε οτι διαλεγεις τα Α, Β που σου δινουν τα περισσοτερα κοντινα σημεια. Αφου βρεις τα Α,Β μπορεις να μετασχηματισεις ολη  την εικονα κανοντας x'=A\(x-B)

Γενικά στήστε τα διανύσματα του matrix 6x6 ,των 6x1 p2 και των  αγνώστων res=[a ;b; c; d] του A=[a b ; -b a]  B=[c; d]
και η εντολή στην matlab είναι res=Matrix\p2

edit/ αν θελετε ανεβάζω και κώδικα για επαλήθευσή αλλά ο έλεγχος για αντιγραφή είναι ενδελεχής και ρεβανσιστικός! φήμες λένε ότι μέσω fractal decomposion ελέγχονται οι λέξεις ΨΕΕ, {template @@} Ντελοπουλε, εργασία 3 και οταν ποιάνεται σε συνομιλία skype/viber/facebook χάνεις τα 1/100 του βαθμού

 Χρησιμοποεις 1 τυχαιο σημειο απο την πρωτη εικονα και ενα τυχαιο σημείο απο τη 2η ( 3 τετοια ζευγαρια),
οπου πρωτη η original και 2η ενα τμημα που σου λεει οτι προεκυψε απο γραμμικο μτσχ κ μετατοπιση της οριτζιναλ.
Μετα φτιαχνεις εξισωση [x2 y2]=[a b; c d]*[x1 y1]+[e f] , οπου [a b; c d]=Α και [e f]=B
και αλλες 2 για τα αλλα 2 ζευγαρια, αλλα οι Α,Β ειναι κοινοι , και βρισκεις Α και Β?
Σωστα?

γτ ο Α ειναι αυτης της μορφης?

μαλλον: https://en.wikipedia.org/wiki/Linear_map

στα παραδειγματα στο τελος αν δεις ειναι τετοιας μορφης (για να ειναι πινακας γραμμικου μετασχ)

Αν δεν είναι έτσι νομίζω ότι έχει scalling μέσα του ο Α ... Μπορεί η λύση με έξη αγνώστους να είναι πιο αποδεκτή ...