Jak pobrać wideo w formacie YUV z kamery, wyświetlić je i przetworzyć

Question

Piszę program iphone (IOS 4), który przechwytuje wideo na żywo z kamery i przetwarza je w czasie rzeczywistym.

Preferuję przechwytywać w formacie kCVPixelFormatType_420YpCbCr8BiPlanarFullRange dla łatwiejszego przetwarzania (muszę przetworzyć kanał Y). jak wyświetlić dane w tym formacie? Przypuszczam, że muszę jakoś przekonwertować go do UIImage, a następnie umieścić go w niektórych ImageView?

Obecnie mam kod, który wyświetla dane kCVPixelFormatType_32BGRA, ale oczywiście nie działa z kCVPixelFormatType_420YpCbCr8BiPlanarFullRange.

Ten kod używam teraz do transformacji, każda pomoc/próbka, jak zrobić to samo dla kCVPixelFormatType_420YpCbCr8BiPlanarFullRange zostanie doceniona. (Również krytyka mojej obecnej metody).

// Create a UIImage from sample buffer data 
- (UIImage *) imageFromSampleBuffer:(CMSampleBufferRef) sampleBuffer 
{ 
    // Get a CMSampleBuffer's Core Video image buffer for the media data 
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer); 
    // Lock the base address of the pixel buffer 
    CVPixelBufferLockBaseAddress(imageBuffer, 0); 

    // Get the number of bytes per row for the pixel buffer 
    void *baseAddress = CVPixelBufferGetBaseAddress(imageBuffer); 

    // Get the number of bytes per row for the pixel buffer 
    size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer); 
    // Get the pixel buffer width and height 
    size_t width = CVPixelBufferGetWidth(imageBuffer); 
    size_t height = CVPixelBufferGetHeight(imageBuffer); 

    // Create a device-dependent RGB color space 
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB(); 

    // Create a bitmap graphics context with the sample buffer data 
    CGContextRef context = CGBitmapContextCreate(baseAddress, width, height, 8, 
               bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst); 
    // Create a Quartz image from the pixel data in the bitmap graphics context 
    CGImageRef quartzImage = CGBitmapContextCreateImage(context); 

    // Unlock the pixel buffer 
    CVPixelBufferUnlockBaseAddress(imageBuffer,0); 

    // Free up the context and color space 
    CGContextRelease(context); 
    CGColorSpaceRelease(colorSpace); 

    // Create an image object from the Quartz image 
    UIImage *image = [UIImage imageWithCGImage:quartzImage]; 

    // Release the Quartz image 
    CGImageRelease(quartzImage); 

    return (image); 
} 

Answer 1

Odpowiadając na moje własne pytanie. ten rozwiązał problem miałem (co było chwycić wyjście YUV, wyświetlać je i przetwarza je), choć jej nie dokładnie odpowiedź na pytanie:

chwycić wyjście YUV z aparatu:

AVCaptureVideoDataOutput *videoOut = [[AVCaptureVideoDataOutput alloc] init]; 
[videoOut setAlwaysDiscardsLateVideoFrames:YES]; 
[videoOut setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange] forKey:(id)kCVPixelBufferPixelFormatTypeKey]]; 

Aby wyświetlić go w niezmienionym stanie, należy użyć AVCaptureVideoPreviewLayer, nie wymaga on dużego kodu. (Możesz zobaczyć przykład FindMyiCon w pakiecie próbek WWDC na przykład).

Aby przetworzyć YUV y kanał (bi-strugarki w tym przypadku tak to wszystko w jednym kawałku, można również używać memcpy zamiast pętli):

- (void)processPixelBuffer: (CVImageBufferRef)pixelBuffer { 

    CVPixelBufferLockBaseAddress(pixelBuffer, 0); 

    int bufferHeight = CVPixelBufferGetHeight(pixelBuffer); 
    int bufferWidth = CVPixelBufferGetWidth(pixelBuffer); 

    // allocate space for ychannel, reallocating as needed. 
    if (bufferWidth != y_channel.width || bufferHeight != y_channel.height) 
    { 
     if (y_channel.data) free(y_channel.data); 
     y_channel.width = bufferWidth; 
     y_channel.height = bufferHeight; 
     y_channel.data = malloc(y_channel.width * y_channel.height);   
    } 

    uint8_t *yc = CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 0); 
    int total = bufferWidth * bufferHeight; 
    for(int k=0;k<total;k++) 
    { 
     y_channel.data[k] = yc[k++]; // copy y channel 
    } 

    CVPixelBufferUnlockBaseAddress(pixelBuffer, 0); 
}