Jaki jest najlepszy sposób przesyłania strumieniowego na żywo przez kamerę iPhone na serwer multimediów?

Question

Zgodnie z tym What Techniques Are Best To Live Stream iPhone Video Camera Data To a Computer? można uzyskać skompresowane dane z kamery iphone, ale jak czytałem w odwołaniu AVFoundation otrzymasz tylko nieskompresowane dane.

więc pytania są:

1) Jak zdobyć skompresowanych ramek i audio z kamery iPhone?

2) Kodowanie nieskompresowanych ramek za pomocą API ffmpeg jest wystarczająco szybkie, aby przesyłać strumieniowo w czasie rzeczywistym?

Każda pomoc będzie naprawdę doceniana.

Dzięki.

Answer 1

Najprawdopodobniej już wiem ....

1) Jak zdobyć skompresowanych ramek i audio z kamery iPhone?

Nie możesz tego zrobić. Interfejs API AVFoundation zapobiegał temu pod każdym kątem. Próbowałem nawet nazwanych potoków i jakiegoś innego sprytnego unixowego foo. Bez takiego szczęścia. Nie masz wyboru, musisz napisać to do pliku. W swoim połączonym poście użytkownik sugeruje ustawienie wywołania zwrotnego w celu dostarczenia zakodowanych ramek. O ile mi wiadomo, nie jest to możliwe w przypadku strumieni H.264. Uczestnik przechwytywania dostarczy obrazy zakodowane w określonym formacie pikseli. To właśnie Movie Writers i AVAssetWriter kodują.

2) Kodowanie nieskompresowanych ramek za pomocą API ffmpeg jest wystarczająco szybkie, aby przesyłać strumieniowo w czasie rzeczywistym?

Tak jest. Będziesz jednak musiał użyć biblioteki libx264, która przeniesie Cię na terytorium GPL. To nie jest dokładnie zgodne ze sklepem z aplikacjami.

Proponuję użyć AVFoundation i AVAssetWriter ze względu na wydajność.

Answer 2

Zgadzam się ze Stevem. Dodałbym, że próbując z API Apple'a, będziesz musiał zrobić kilka naprawdę paskudnych hakerów. AVAssetWriter domyślnie spędza sekundę zanim rozleje swój bufor do pliku. Nie znalazłem sposobu na zmianę tego ustawienia. Wydaje się, że sposobem na wymuszenie małych zapisów plików i plików blisko z wykorzystaniem wielu AVAsetWriters. Ale wtedy to wprowadza mnóstwo kosztów ogólnych. To nie jest piękne.

Zdecydowanie złożyć nowe żądanie funkcji za pomocą Apple (jeśli jesteś programistą iOS). Im więcej z nas to robi, tym bardziej prawdopodobne, że dodadzą jakiegoś pisarza, który może zapisywać do bufora i/lub do strumienia.

Dodatkiem do tego, co Steve powiedział w sprawie x264 GPL, jest to, że uważam, że można uzyskać komercyjną licencję na to, co jest lepsze niż na licencji GPL, ale oczywiście kosztuje to pieniądze. Ale to oznacza, że ​​nadal możesz z niego korzystać i uzyskać całkiem dobre wyniki, i nie musisz otwierać własnego źródła aplikacji. Nie tak dobry jak rozszerzony Apple API, który używa swoich sprzętowych kodeków, ale nie jest zły.