Szacowanie głębokości OpenCv z mapy różnic

Question

Próbuję oszacować głębokość na podstawie pary stereo z OpenCV. Mam dysproporcja mapa i oszacowanie głębokości można otrzymać jako:

   (Baseline*focal) 
depth =  ------------------ 
      (disparity*SensorSize) 

Użyłem techniki Blok Matching znaleźć te same punkty w dwóch rectificated obrazów. OpenCV pozwala ustawić niektóre parametry dopasowania bloku, na przykład BMState->numberOfDisparities.

po procesie dopasowania bloków:

cvFindStereoCorrespondenceBM(frame1r, frame2r, disp, BMState); 
cvConvertScale(disp, disp, 16, 0); 
cvNormalize(disp, vdisp, 0, 255, CV_MINMAX); 

I znaleziono wartość głębokości jak:

if(cvGet2D(vdisp,y,x).val[0]>0) 
    { 
    depth =((baseline*focal)/(((cvGet2D(vdisp,y,x).val[0])*SENSOR_ELEMENT_SIZE))); 
    } 

Jednak wartość głębokości obtaied różni się od wartości obtaied z poprzednim wzorem powodu wartości BMState->numberOfDisparities który zmienia wartość wyniku.

Jak ustawić ten parametr? co zmienić ten parametr?

Dzięki

Answer 1

Prosta formuła jest ważny tylko wtedy, gdy ruch od strony lewej do prawej jednej kamery jest czystą translację (w szczególności równolegle do poziomej osi na rysunku).

W praktyce tak rzadko się zdarza. Powszechne jest na przykład przeprowadzanie dopasowywania po obrazach, to jest po ich wypaczeniu przy użyciu znanej Podstawowej Matrycy, tak że odpowiednie piksele są ograniczone do tego samego rzędu. Po dopasowaniu poprawionych obrazów, możesz przypiąć je do oryginalnych obrazów za pomocą odwrotności prostującej się osnowy, a następnie dokonać triangulacji w przestrzeń 3D, aby zrekonstruować scenę. OpenCV ma do tego rutynową procedurę: reprojectImageTo3d

Answer 2

Wymieniona powyżej formuła nie działa, ponieważ płaszczyzna kamery i płaszczyzna obrazu nie są takie same, tzn. Kamera będzie znajdować się na pewnej wysokości, a płaszczyzna, którą przechwytuje, będzie znajdować się na ziemi . Musisz więc wprowadzić niewielką modyfikację w tej formule. Można dopasować te wartości odchyleń i znaną odległość na wielomian przez dopasowanie krzywej. Z niego otrzymasz współczynniki, które można wykorzystać dla innych nieznanych odległości. Drugi sposób polega na utworzeniu chmury punktów 3D za pomocą macierzy zawijania i reprojectimageTo3d (API Opencv).