Szybkie wykrywanie punktów subpikselowych laserowych

Question

Używam XNA do zbudowania projektu, w którym mogę narysować "graffiti" na mojej ścianie za pomocą projektora LCD i kamery monochromatycznej, która jest filtrowana, aby widzieć tylko ręczne wskaźniki laserowe. Chcę używać dowolnej liczby wskaźników laserowych - nie obchodzi mnie to w tej chwili.

Ściana 10' x 10' , a aparat jest tylko 640x480 tak ja próbuje użyć pomiar subpiksel użyciem krzywej składanej jak opisano tutaj: tpub.com

zapełnienia w 120fps (8 -bit), więc moje pytanie do was wszystkich jest najszybszą drogą do znalezienia tego centrum lasera subpikselowego. Obecnie używam przeszukiwania 2D w trybie brute force, aby znaleźć najjaśniejszy piksel na obrazie (0 - 254) przed wykonaniem interpolacji splajnu. Ta metoda nie jest zbyt szybka, a każda klatka zajmuje więcej czasu niż komputer.

Edytuj: Aby wyjaśnić, moje dane z kamery są reprezentowane przez dwuwymiarową tablicę bajtów wskazującą jasność pikseli.

Chciałbym użyć cieniowania XNA, aby poprawić obraz. Czy to jest praktyczne? Z tego co rozumiem, tak naprawdę nie ma sposobu na utrzymywanie trwałych zmiennych w module cieniującym Pixel, takich jak sumy bieżące, średnie itd.

Ale z argumentów, załóżmy, że znalazłem najjaśniejsze piksele za pomocą brutalnej siły, a następnie zapisał je i ich sąsiednie piksele na krzywej splajnu na X wierzchołków przy użyciu texcoordów. Czy praktyczne jest wtedy użycie HLSL do obliczenia krzywej splajnu za pomocą texcoord?

Jestem również otwarty na sugestie poza moim XNA boxem, czy to DX10/DX11, może jakiś FPGA, itp. Po prostu nie mam zbyt dużego doświadczenia ze sposobami fałszowania danych w ten sposób. Sądzę, że jeśli mogą zrobić coś takiego na Wii-Mote przy użyciu 2 baterii AA, prawdopodobnie robię to w niewłaściwy sposób.

Wszelkie pomysły?

Answer 1

Masz do czynienia z dość złożonymi matematykami, jeśli chcesz dokładności subpiksela. Myślę, że this paper należy rozważyć. Niestety, będziesz musiał zapłacić, aby zobaczyć, korzystając z tej strony. Jeśli masz dostęp do odpowiedniej biblioteki, być może uda Ci się ją zdobyć.

Łącze w oryginalnym poście sugerowało wykonanie 1000 obliczeń splajnu dla każdej osi - jest traktowane oddzielnie xi y, co jest dobre dla okrągłych obrazów, ale jest nieco wyłączone, jeśli obraz jest przekrzywioną elipsą. Można użyć następujących uzyskać wystarczającą ocenić:

x _c = suma (x _n .f (x n))/suma (F (x _n))

gdzie x _C jest średni, x _n jest punktem wzdłuż osi x i F (x _n) ma wartość w punkcie x _n. Tak na to:

  * 
     * * 
     * * 
     * * 
     * * 
     * * 
     * * * 
    * * * * 
    * * * * 
* * * * * * 
------------------ 
2 3 4 5 6 7 

otrzymujemy:

suma (x _n .f (x _n)) = 1 * 3 * 2 + 3 + 4 + 5 * 9 * 10 + 6 * 4 + 7 * 1

suma (f (x _n)) = 1 + 3 + 9 + 10 + 4 + 1

x _C = 128/28 = 4,57

i powtórz dla osi Y.

Answer 2

Jeśli przez Brute-wymuszenie patrzenia na każdy piksel niezależnie, jest to w zasadzie jedyny sposób na zrobienie tego. Będziesz musiał przeskanować wszystkie piksele obrazów, bez względu na to, co chcesz zrobić z obrazem. Mimo że nie musisz szukać najjaśniejszych pikseli, możesz filtrować obraz według kolorów (np .: jeśli używasz czerwonego lasera). Można to łatwo zrobić za pomocą kolorowego obrazu HSV. Jeśli szukasz szybszych algorytmów, wypróbuj OpenCV. To znowu i znowu zoptymalizowane do obróbki obrazu i można go używać w C# poprzez owinięcie:

[http://www.codeproject.com/KB/cs/Intel_OpenCV.aspx][1]

OpenCV może również pomóc łatwo znaleźć centra punkt i śledzić każdy punkty.

Czy istnieje powód, dla którego używasz kamery 120 klatek na sekundę? Czy wiesz, że oko ludzkie może zobaczyć tylko około 30 fps, prawda? Zgaduję, że chodzi o śledzenie bardzo szybkich ruchów laserowych ... Możesz rozważyć obniżenie go, ponieważ przetwarzanie 120 klatek na sekundę w czasie rzeczywistym będzie bardzo trudne do osiągnięcia.

Answer 3

przechodząc przez 640 * 480 bajtów, aby znaleźć najwyższy bajt, powinien działać w ciągu ms. Nawet na wolnych procesorach. Nie trzeba wybierać trasy shaderów.

Poradziłbym, aby zoptymalizować pętlę. na przykład: to jest bardzo powolny (bo robi mnożenia z każdego odnośnika tablicy):

byte highest=0; 
foundX=-1, foundY=-1; 
for(y=0; y<480; y++) 
{ 
    for(x=0; x<640; x++) 
    { 
     if(myBytes[x][y] > highest) 
     { 
      highest = myBytes[x][y]; 
      foundX = x; 
      foundY = y; 
     } 
    } 
} 

to dużo szybciej:

byte [] myBytes = new byte[640*480]; 
//fill it with your image 

byte highest=0; 
int found=-1, foundX=-1, foundY=-1; 
int len = 640*480; 
for(i=0; i<len; i++) 
{ 
    if(myBytes[i] > highest) 
    { 
     highest = myBytes[i]; 
     found = i; 
    } 
} 
if(found!=-1) 
{ 
    foundX = i%640; 
    foundY = i/640; 
} 

Jest poza czubek głowy tak żal błędy; ^)

Answer 4

Brute-force to jedyna prawdziwa droga, jednak twój pomysł na użycie shadera jest dobry - odciąłbyś kontrolę brutalnej siły od procesora, który może spojrzeć tylko na niewielką liczbę pikseli jednocześnie (w przybliżeniu 1 na rdzeń), co do prawdopodobnego GPU ma ponad 100 głupich rdzeni (potoków), które mogą jednocześnie porównywać piksele (twój algorytm może wymagać trochę modyfikacji, aby działał dobrze z instrukcją 1 - wiele układów rdzeni GPU).

Największy problem, jaki widzę, to to, czy można przenieść dane na GPU wystarczająco szybko.

Answer 5

Połóż aparat nieco nieostry i bitblt na neutralnej próbce. Możesz szybko skanować wiersze dla wartości innych niż 0. Również jeśli masz 8 bitów i odbierasz 4 bajty na raz, możesz szybciej przetworzyć obraz. Jak wskazano, możesz zmniejszyć liczbę klatek na sekundę. Jeśli masz mniej wierności niż wynikowy obraz, nie ma większego sensu w wysokiej częstotliwości skanowania.

(Nieznaczny nieostry kamery pomogą uzyskać tylko najjaśniejsze punkty i zmniejszyć liczbę fałszywych alarmów, jeśli masz zajęty powierzchnię ... oczywiście zakładając, że nie strzelają sprawne/płaską powierzchnię)

Answer 6

Kolejna optymalizacja do rozważenia: jeśli rysujesz, aktualna lokalizacja wskaźnika prawdopodobnie zamyka ostatnią lokalizację wskaźnika. Zapamiętaj ostatnią zarejestrowaną pozycję wskaźnika między ramkami, a skanuj tylko obszar znajdujący się w pobliżu tej pozycji ... powiedz obszar 1'x1 '. Tylko wtedy, gdy wskaźnik nie zostanie znaleziony w tym obszarze, należy przeskanować całą powierzchnię.

Oczywiście, pojawi się kompromis pomiędzy tym, jak szybko twój program może skanować, i jak szybko będziesz w stanie poruszać myszą, zanim kamera "straci" wskaźnik i musi przejść do powolnego, pełnego obrazu skandować. Trochę eksperymentów prawdopodobnie ujawni optymalną wartość.

Fajny projekt, przy okazji.

Answer 7

Rozpocznij od czarnego bufora wyjściowego. Zapomnij o subpikselie na teraz. Każda klatka, każdy piksel to:

outbuff = max (outbuff, inbuff);

Filtrowanie subpikseli do trzeciego "czystego" bufora, gdy skończysz z obrazem. Możesz też wykonać porcję lub linię ekranu naraz w czasie rzeczywistym. Zaleta: widok "nieobrobionego" widoku w czasie rzeczywistym, oczyszczony podczas podróży.

Po przejściu z bufora surowego wydruku do "czystego" trzeciego bufora, można wyczyścić szorstki do czarnego. Pozwala to na ciągłe rysowanie bez spowalniania.

Rysując "czysty" nad "szorstkim", może w nieco innym kolorze, będziesz miał to co najlepsze z obu światów.

Jest to podobne do programów do malowania - jeśli rysujesz bardzo szybko, zobaczysz wersję z grubsza, a następnie program do malowania "czyści" obraz, gdy będzie miał czas.

---

Niektóre komentarze na algorytmie:

Widziałem wiele oszustów w tej dziedzinie. Grałem w Sonica na emulatorze Sega Genesis, który pobiera próbki. i ma kilka dość dzikich algorytmów, które działają bardzo dobrze i są bardzo szybkie.

Rzeczywiście masz pewne zalety, które możesz uzyskać, ponieważ możesz znać jasność i promień kropki.

Możesz po prostu popatrzeć na każdy piksel i jego 8 sąsiadów i pozwolić tym 9 pikselom "głosować" w zależności od ich jasności, gdzie znajduje się subpiksel.

---

Inne myśli

Twoja ręka nie jest tak dokładna, kiedy można kontrolować wskaźnik laserowy. Postaraj się uzyskać wszystkie kropki co 10 klatek, identyfikując które belki są tymi, które (w oparciu o poprzedni ruch, i uwzględniające nowe kropki, wyłączone lasery i kropki, które weszły lub opuściły pole widzenia), a następnie po prostu wysoki poziom krzywa rozdzielczości. Nie martw się o subpiksel na wejściu - po prostu narysuj krzywą do wyjścia o wysokiej rozdzielczości.

Użyj splajnu Catmull-Rom, który przechodzi przez wszystkie punkty kontrolne.