Question

我有一个MPEG-TS文件，其中包含两个视频/音频流对：

$ gst-discoverer-1.0 Recorder_Aug01_12-30-39.ts
Analyzing Recorder_Aug01_12-30-39.ts
Done discovering Recorder_Aug01_12-30-39.ts

Topology:
  container: MPEG-2 Transport Stream
    audio: MPEG-2 AAC
      audio: MPEG-4 AAC
    video: H.264 (High Profile)
    audio: MPEG-2 AAC
      audio: MPEG-4 AAC
    video: H.264 (High Profile)

Properties:
  Duration: 0:01:49.662738259
  Seekable: yes
  Tags: 
      audio codec: MPEG-2 AAC
      video codec: H.264

现在我想将第一个视频和音频流以及第二个视频/音频提取到两个独立的MP4容器中。

并行显示两个视频流都可以使用简单的管道：

$ gst-launch-1.0 filesrc location=Recorder_Aug01_12-30-39.ts ! tsdemux name=ts \
    ts.video_0_0102 ! queue ! h264parse ! avdec_h264 ! videoconvert ! videoscale ! autovideosink \
    ts.video_0_0100 ! queue ! h264parse ! avdec_h264 ! videoconvert ! videoscale ! autovideosink

当我在一个流上引入mp4mux和filesink元素时，它仍然可用，显示第一个视频流，第二个视频保存到MP4容器文件中：

$ gst-launch-1.0 filesrc location=Recorder_Aug01_12-30-39.ts ! tsdemux name=ts \
    ts.video_0_0102 ! queue ! h264parse ! avdec_h264 ! videoconvert ! videoscale ! ximagesink \
    ts.video_0_0100 ! queue ! h264parse ! mp4mux ! filesink location=2.mp4

现在我的问题是：一旦我尝试通过filesinks保存两个流，它就会失败：

$ gst-launch-1.0 filesrc location=Recorder_Aug01_12-30-39.ts ! tsdemux name=ts \
    ts.video_0_0102 ! queue ! h264parse ! mp4mux ! filesink location=1.mp4 \
    ts.video_0_0100 ! queue ! h264parse ! mp4mux ! filesink location=2.mp4
Setting pipeline to PAUSED ...
Pipeline is PREROLLING ...
Pipeline is PREROLLED ...
Setting pipeline to PLAYING ...
New clock: GstSystemClock
ERROR: from element /GstPipeline:pipeline0/GstMP4Mux:mp4mux0: Could not multiplex stream.
Additional debug info:
gstqtmux.c(3486): gst_qt_mux_add_buffer (): /GstPipeline:pipeline0/GstMP4Mux:mp4mux0:
Buffer has no PTS.
Execution ended after 0:00:00.001992389
Setting pipeline to PAUSED ...
Setting pipeline to READY ...
Setting pipeline to NULL ...
Freeing pipeline ...

我想使用gstreamer实现这一点，因为它后来应该成为需要大量内省的更大处理工作流程的一部分，因此使用ffmpeg或某些外部二进制文件不是一种选择。

Answer 1

GStreamer缓冲区没有PTS故障模式

这可能无法完全解决使用GStreamer的问题，但这是我现在正在使用的解决方法。它涉及隔离故障组件，即gstreamer管道中的'mp4mux'元素。

我发现即使Gstreamer中的示例视频编码目前也在失败，例如缓冲区没有PTS故障模式：

gst-launch-1.0 videotestsrc num_buffers=300 ! videoconvert ! videoscale ! omxh264enc ! h264parse ! mp4mux ! filesink location=test.mp4

仅使用Gstreamer进行h264编码。

删除mp4mux元素允许我们成功创建.h264文件。如果您使用的是Raspberry Pi omxh264编码器元件，则特别方便。

gst-launch-1.0 videotestsrc num_buffers=300 ! videoconvert ! videoscale ! omxh264enc ! filesink location=test.h264

解决混合音频和视频的问题

现在将它转换为MP4（最初的目标），我们可以使用漂亮的轻量级Gpac MP4box。

sudo apt-get install gpac

MP4Box -isma -inter 250 -fps 30.0 -mpeg4 -hint -noprog -add test.h264 test.mp4

然后您可以添加音频

MP4Box -add audio.mp3 test.mp4

摘要

使用Mp4Mux元素时，GStreamer目前因No PTS故障模式而出现故障。
GStreamer一般h264编码和piplines很棒，而且很有效。
使用GPac将音频合并到Mp4文件中是一种可行的选择。

使用gstreamer 1.12.2将MPEG-TS拆分为MP4文件

1 个答案:

GStreamer缓冲区没有PTS故障模式

仅使用Gstreamer进行h264编码。

解决混合音频和视频的问题

摘要