Używanie Media Foundation do kodowania powierzchni Direct X

Question

Próbuję użyć MediaFoundation API do kodowania wideo, ale mam problemy z wypychaniem próbek do SinkWriter.

Otrzymuję ramki do kodowania za pomocą interfejsu Desktop Duplication API. W końcu otrzymuję ID3D11Texture2D z obrazem pulpitu.

Próbuję utworzyć IMFVideoSample zawierający tę powierzchnię, a następnie przesłać próbkę wideo do SinkWriter.

Próbowałem będzie o tym na różne sposoby:

• Zadzwoniłem MFCreateVideoSampleFromSurface(texture, &pSample) gdzie tekstury jest ID3D11Texture2D, wypełniona w SampleTime i SampleDuration a następnie przekazywane utworzoną próbkę do SinkWriter.
  SinkWriter zwrócił E_INVALIDARG.

• Próbowałem utworzyć próbkę, przekazując nullptr jako pierwszy argument i tworząc bufor samodzielnie za pomocą MFCreateDXGISurfaceBuffer, a następnie przekazując wynikowy bufor do Sample.
  To też nie działa.

• Przeczytałem dokumentację MediaFoundation i nie mogłem znaleźć szczegółowych informacji o tym, jak utworzyć próbkę z tekstur DirectX.

Zabrakło rzeczy do wypróbowania.
Czy ktoś wcześniej korzystał z tego interfejsu API i może wymyślić rzeczy, które powinienem sprawdzić, lub w jaki inny sposób mogę to debugować?

Answer 1

Przede wszystkim powinieneś nauczyć się używać mftrace tool. Bardzo prawdopodobne, że od razu rozwiąże problem.

Ale zgaduję, że następujące problemy są prawdopodobne.

1. Prawdopodobnie, niektóre inne atrybuty są wymagane oprócz SampleTime/SampleDuration.

2. Prawdopodobnie SinkWriter potrzebuje tekstury, którą może odczytać na procesorze. Aby to naprawić, gdy dostępna jest ramka, utwórz teksturę pomostową o tym samym formacie + rozmiarze, wywołaj funkcję CopyResource, aby skopiować pulpit do tekstury przemieszczania, a następnie przenieś tę warstwę pomostową do formatu MF.

3. Nawet jeśli używasz sprzętowego kodera, więc procesor nigdy nie próbuje odczytać danych tekstury, nie sądzę, że dobrym pomysłem jest bezpośrednie przekazanie tekstury pulpitu do MF.

Po ustawieniu tekstury D3D dla próbki, żadne dane nie są kopiowane w dowolnym miejscu, próbka zachowuje jedynie teksturę.

MF działa asynchronicznie, może buforować kilka próbek w swoich węzłach topologii, jeśli chce.

DD przesyła dane synchronicznie, możesz uzyskać dostęp do tekstury między połączeniami AcquireNextFrame i ReleaseFrame.