在C中的MPEG-TS中从H264中提取I帧

Question

我正在试验视频，想知道如何从MPEG-TS容器中包含的H264中提取I帧。 我想要做的是从视频流中生成预览图像。 由于I帧应该是P帧和B帧派生的完整图像，是否有可能只提取图像数据而不必使用编解码器对其进行解码？

我已经完成了一些MPEG-TS容器格式​​的工作，但我并不是那么专注于编解码器。

我更愿意寻找信息。

非常感谢。

Answer 1

我不是这个领域的专家，但我相信你的问题的答案是否定的。

如果要将I帧保存为JPEG图像，仍需要对视频帧进行“转码”，即首先需要使用H264解码器解码I帧，然后使用JPEG编码器对其进行编码。这是因为JPEG编码器不理解H264帧，它只接受未压缩的视频帧作为输入。

另外，由于JPEG编码器的输入是未压缩的帧，因此您可以从任何类型的帧（I / P / B）生成JPEG图像，因为它已经被解码（使用参考I帧，如果需要）在送入编码器之前。

Answer 2

正如其他人所说，解码h.264很复杂。您可以编写自己的解码器，但这是一项重大的工作。为什么不使用现有的解码器？

英特尔的IPP库具有解码器和样本装饰器的基本构建模块：

Code Samples for the Intel® Integrated Performance Primitives

有libavcodec：

Using libavformat and libavcodec

Revised avcodec_sample.0.4.9.cPP

Answer 3

我也不是这个领域的专家。但我玩过解码。使用此gstreamer管道从video.mp4中提取预览：

gst-launch -v filesrc location=./video.mp4 ! qtdemux name=demux demux.video_00 ! ffdec_h264 ! videorate ! 'video/x-raw-yuv,framerate=1/1' ! jpegenc ! multifilesink location=image-%05d.jpeg

如果您想编写一些代码，请将videorate替换为appsrc / appsink元素。将控制程序写入管道（参见example）：

filesrc location=./video.mp4 ! qtdemux name=demux demux.video_00 ! ffdec_h264 ! appsink
appsrc ! 'video/x-raw-yuv,framerate=1/1' ! jpegenc ! multifilesink location=image-%05d.jpeg

没有设置GST_BUFFER_FLAG_DELTA_UNIT标志的缓冲区是I帧。您可以安全地跳过许多帧并在任何I帧开始解码流。