我正在编写一个iPhone应用程序,使用AVFoundation从相机创建静态图像。
阅读编程指南我发现了一个几乎我需要做的代码,所以我试图“逆向工程”并理解它。
我发现在理解将CMSampleBuffer转换为图像的部分时遇到了一些困难
所以这就是我所理解的以及后来的代码
CMSampleBuffer表示存储器中存储有附加数据的图像的缓冲区。后来我调用函数CMSampleBufferGetImageBuffer()来接收CVImageBuffer,只返回图像数据。
现在有一个我不理解的功能,我只能想象它的功能:CVPixelBufferLockBaseAddress(imageBuffer,0);我无法理解它是否是一个“线程锁”,以避免对它进行多次操作或锁定缓冲区的地址,以避免在操作期间发生变化(为什么要更改?...另一帧,不是数据被复制在另一个地方?)。其余的代码对我来说很清楚。
试图在谷歌搜索,但仍然没有找到任何帮助
有人可以带点光吗?
-(UIImage*) getUIImageFromBuffer:(CMSampleBufferRef) sampleBuffer{
// Get a CMSampleBuffer's Core Video image buffer for the media data
CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
// Lock the base address of the pixel buffer
CVPixelBufferLockBaseAddress(imageBuffer, 0);
void *baseAddress = CVPixelBufferGetBaseAddress(imageBuffer);
// Get the number of bytes per row for the pixel buffer
size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer);
// Get the pixel buffer width and height
size_t width = CVPixelBufferGetWidth(imageBuffer);
size_t height = CVPixelBufferGetHeight(imageBuffer);
// Create a device-dependent RGB color space
CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
// Create a bitmap graphics context with the sample buffer data
CGContextRef context = CGBitmapContextCreate(baseAddress, width, height, 8,
bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);
// Create a Quartz image from the pixel data in the bitmap graphics context
CGImageRef quartzImage = CGBitmapContextCreateImage(context);
// Unlock the pixel buffer
CVPixelBufferUnlockBaseAddress(imageBuffer,0);
// Free up the context and color space
CGContextRelease(context);
CGColorSpaceRelease(colorSpace);
// Create an image object from the Quartz image
UIImage *image = [UIImage imageWithCGImage:quartzImage];
// Release the Quartz image
CGImageRelease(quartzImage);
return (image);
}
谢谢, 安德烈
答案 0 :(得分:3)
头文件说CVPixelBufferLockBaseAddress使内存“可访问”。我不确定这究竟是什么意思,但如果你不这样做,CVPixelBufferGetBaseAddress会失败,所以你最好这样做。
修改强>
做到这一点是简短的回答。为什么考虑到图像可能不存在于主存储器中,它可能存在于某些GPU上的纹理中(CoreVideo也可以在Mac上工作),或者甚至采用与您期望的格式不同的格式,因此您获得的像素实际上是复制。如果没有锁定/解锁或某种类型的开始/结束对,实现无法知道何时完成重复的像素,这样它们就会被泄露。 CVPixelBufferLockBaseAddress只是提供了CoreVideo范围信息,我不会太依赖它。
是的,他们可以简单地从CVPixelBufferGetBaseAddress返回像素,并完全消除CVPixelBufferLockBaseAddress。我不知道他们为什么不那样做。
答案 1 :(得分:0)
我想提供更多有关此功能的提示,到目前为止我做了一些测试,我可以告诉你。
当你得到基地址时,你可能得到了一些共享内存资源的地址。如果您打印基地址的地址,这一点就变得清晰了,这样就可以看到在获取视频帧时重复基址。
在我的应用程序中,我按特定间隔拍摄帧并将CVImageBufferRef
传递给一个NSOperation
子类,用于转换图像中的缓冲区并将其保存在手机上。我没有锁定像素缓冲区,直到操作开始转换CVImageBufferRef
,即使在更高的帧速率下按下像素的基地址并且CVImageBufferRef
缓冲区地址在创建{{NSOperation
之前是相等的1}}和里面。我只保留CVImageBufferRef
。我期待得到不匹配的引用,即使我没有看到它,我想最好的描述是CVPixelBufferLockBaseAddress
锁定缓冲区所在的内存部分,使其无法从其他资源访问,因此它将保留相同的数据,直到你解锁它。