Co to jest wyjście z funkcji gęstego przepływu optycznego (Farneback) OpenCV? W jaki sposób można to wykorzystać do zbudowania mapy przepływu optycznego w Pythonie?

Question

Próbuję użyć wyjścia funkcji gęstego przepływu optycznego Opencv, aby narysować wykres kołczanu wektorów ruchu, ale nie mogłem znaleźć funkcji, która faktycznie wyprowadza. Oto kod:

import cv2 
import numpy as np 

cap = cv2.VideoCapture('GOPR1745.avi') 

ret, frame1 = cap.read() 
prvs = cv2.cvtColor(frame1,cv2.COLOR_BGR2GRAY) 
hsv = np.zeros_like(frame1) 

hsv[...,1] = 255 
count=0 

while(1): 
    ret, frame2 = cap.read() 
    next = cv2.cvtColor(frame2,cv2.COLOR_BGR2GRAY) 
    flow = cv2.calcOpticalFlowFarneback(prvs,next,None, 0.5, 3, 15, 3, 10, 1.2, 0) 
    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1]) 

    hsv[...,0] = ang*180/np.pi/2 
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX) 
    rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR) 
    if count==10: 
     count=0 

     print "flow",flow 

    cv2.imshow('frame2',rgb) 
    count=count+1 
    k = cv2.waitKey(30) & 0xff 
    if k == 27: 
     break 
    elif k == ord('s'): 
    prvs = next 

cap.release() 
cv2.destroyAllWindows() 

Jest to w rzeczywistości ten sam kod, jak podano w poradniku OpenCV na gęstą przepływu optycznego. Dostaję następujące dane wyjściowe z funkcji drukowania:

flow [[[ 0.00000000e+00 0.00000000e+00] 
    [ 0.00000000e+00 0.00000000e+00] 
    [ 0.00000000e+00 0.00000000e+00] 
    ..., 
    [ 0.00000000e+00 0.00000000e+00] 
    [ 0.00000000e+00 0.00000000e+00] 
    [ 0.00000000e+00 0.00000000e+00]] 

..., 
[[ -3.54891084e-14 -1.38642463e-14] 
    [ -2.58058853e-14 -1.54020863e-14] 
    [ -5.56561768e-14 -1.88019359e-14] 
    ..., 
    [ -7.59403916e-15 1.16633225e-13] 
    [ 7.22156371e-14 -1.61951507e-13] 
    [ -4.30715618e-15 -4.39530987e-14]] 

[[ -3.54891084e-14 -1.38642463e-14] 
    [ -2.58058853e-14 -1.54020863e-14] 
    [ -5.56561768e-14 -1.88019359e-14] 
    ..., 
    [ -7.59403916e-15 1.16633225e-13] 
    [ 7.22156371e-14 -1.61951507e-13] 
    [ -4.30715618e-15 -4.39530987e-14]] 

Chciałbym wiedzieć, jakie dokładnie są te wartości? Oryginalne współrzędne X, Y? Końcowe współrzędne X, Y? Odległość została przeniesiona?

mam zamiar spróbować znaleźć początkowe i końcowe współrzędne aby działkę kołczan za pomocą kodu z poniższej strony: https://www.getdatajoy.com/examples/python-plots/vector-fields To dlatego, że w Pythonie nie ma funkcji, że jestem świadom, że działki optycznego przepływu mapę dla Ciebie.

Z góry dziękuję!

Answer 1

Byłeś prawie na miejscu. Spójrzmy najpierw spojrzeć na calcOpticalFlowFarneback Documentation mówi tam:

flow - obliczony obraz przepływu, który ma taki sam rozmiar jak prev i rodzaju CV_32FC2.

Tak więc otrzymujesz matrycę o tym samym rozmiarze co ramka wejściowa.
Każdy element w tej macierzy flow jest punktem, który reprezentuje przesunięcie tego piksela z ramki . Znaczy to, że dostajesz punkt z wartościami xiy (w jednostkach pikselowych), które dają deltę x i delta y z ostatniej klatki.