AVFoundation: Obsługa wideo w OpenGL - Jak odtwarzać i synchronizować dźwięk?

Question

Udało mi się załadować ścieżkę wideo klatki po klatce do tekstury OpenGL z AVFoundation. Śledziłem czynności opisane w odpowiedzi tutaj: iOS4: how do I use video file as an OpenGL texture? i wziął trochę kodu z próbki GLVideoFrame od WWDC2010, który można pobrać tutaj: http://bit.ly/cEf0rM

Jak odtwarzać audio-track filmu synchronicznie do filmu. Myślę, że nie byłoby dobrym pomysłem zagrać w osobnym odtwarzaczu, ale użyć ścieżki dźwiękowej tego samego AVAsset.

AVAssetTrack* audioTrack = [[asset tracksWithMediaType:AVMediaTypeAudio] objectAtIndex:0]; 

ja pobrać videoframe i to datownik w CADisplayLink-zwrotnego poprzez

CMSampleBufferRef sampleBuffer = [self.readerOutput copyNextSampleBuffer]; 
CMTime timestamp = CMSampleBufferGetPresentationTimeStamp(sampleBuffer); 

gdzie readerOutput jest typu AVAssetReaderTrackOutput*

Jak zdobyć odpowiednie muzyki z próbki? A jak je odtwarzać?

---

Edit:

Mam rozejrzał się trochę i myślę, że najlepiej byłoby użyć AudioQueue z AudioToolbox.framework stosując podejście opisane tutaj: AVAssetReader and Audio Queue streaming problem

Istnieje również odtwarzacz audio w AVFoundation: AVAudioPlayer. Ale nie wiem dokładnie, w jaki sposób powinienem przekazać dane do jego wszczepu, który oczekuje NSData. Ponadto nie sądzę, że jest to najlepszy wybór w moim przypadku, ponieważ nowa instancja musi zostać stworzona dla każdego nowego kawałka próbek audio, jak rozumiem.

Jakieś inne sugestie? Jaki jest najlepszy sposób odtwarzania surowych próbek audio, które otrzymuję od AVAssetReaderTrackOutput?

Answer 1

Chcesz zrobić kompozycję AV. Możesz scalić wiele źródeł multimediów, synchronizowanych tymczasowo, w jedno wyjście.

http://developer.apple.com/library/ios/#DOCUMENTATION/AVFoundation/Reference/AVComposition_Class/Reference/Reference.html