iPhone Dev：处理AR app的现场录制电影的每一帧？

Question

我正在研究iPhone上的AR，并试图弄清楚人们如何获得每一帧视频？我想用计算机视觉（OpenCV）来计算AR。所以基本上我会在一张纸上有一个图案，我将使用OpenCV找到并在图案的顶部放置一个图形。

我知道电影类UIImagePickerController，但我不确定你将如何进入每一帧。

有人能指出我正确的方向吗？

Answer 1

UIImagePickerController是用于显示摄像机视图并使用类似摄像机的前端拍摄单张照片的方法。这不是你想要的。

相反，您需要研究AVFoundation，尤其是围绕AVCaptureSession的类。您将需要获得有意义的AVCaptureDevice（可以是iPhone 4和当前iPod Touch上的前置或后置摄像头），创建一个引用它的AVCaptureDeviceInput并将其作为输入添加到AVCaptureSession。然后只需创建一个AVCaptureVideoDataOutput并使用有意义的委托和Grand Central Dispatch调度队列进行设置。

当您开始会话时，您将在您创建的提供CMSampleBufferRef的队列中收到委托回调，您可以从中提取CVImageBufferRef，从而提取像素数据。