如何从iOS上的实时视频中获取每帧的RGB值？

Question

我正在使用iPhone制作应用。我想从每帧实时视频中获取数值RGB值。可以吗？如果是的话，请告诉我。更多欣赏一些示例代码。非常感谢你提前。

Answer 1

我只能假设您要解码h.264视频，然后从中获取RGB（A）像素值。在这种情况下，您需要使用AVAssetReaderOutput类打开然后解码附加到Xcode项目的h.264资产中的帧。如果您不熟悉软件中的视频处理，请小心并确保在开始之前确切了解自己在做什么，因为视频处理中的内存使用令人震惊，如果您不完全了解内存量，您可能会崩溃iOS应用你是在一次分配。请在video_and_memory_usage_on_ios_devices查看我关于此主题的博客文章。您可以在各个位置找到大量的示例代码，但您基本上只需要创建资产，从中解码帧，然后从解码的CoreVideo像素缓冲区中读取RGBA像素。小心观察其中，奇数大小导致CoreVideo像素缓冲区中的行填充，使得像素总数与sizeof（uint32_t）* width * height不匹配。