Question

我正在努力将ffmpeg用于远程控制自动驾驶卡车。

本地网络中有3个来自摄像机的视频流，用这样的.sdp文件描述（MJPEG over RTP，如果我错了，请纠正我）：m=video 50910 RTP/AVP 26 c=IN IP4 192.168.1.91

我希望使用以下三个图片制作单个视频流：

ffmpeg -hide_banner -protocol_whitelist "rtp,file,udp" -i "cam1.sdp" \
-protocol_whitelist "rtp,file,udp" -i "cam2.sdp" \
-protocol_whitelist "rtp,file,udp" -i "cam3.sdp" \
-filter_complex "\
nullsrc=size=1800x600 [back]; \
[back][b]overlay=1000[tmp1]; \
[tmp1][c]overlay=600[tmp2]; \
[tmp2][a]overlay" \
-vcodec libx264 \
-crf 25 -maxrate 4M -bufsize 8M -r 30 -preset ultrafast -tune zerolatency \
-f mpegts udp://localhost:1234

当我启动它时，ffmpeg开始发送有关RTP数据包丢失的错误。在输出中，每个相机的fps似乎不稳定，所以这是不可接受的。我可以同时在三个摄像头上启动ffplay或mplayer。我也可以使用预先录制的视频输入作为输入。因此，似乎ffmpeg无法如此快速地读取三个UDP流。这些摄像机以10 Mbit / s，800x600,30 fps MJPEG流式传输，这些是我能承受的最小设置，但摄像机可以做得更多。

所以我试着做一些UDP缓冲区的大小。好吧，有可能为UDP流设置buffer_size和fifo_size，但对于使用.sdp文件描述的流没有这样的选项。即使我找到了一种方法来运行带有rtp://的流 - 就像URL一样，但它似乎没有在'？'之后传递参数。到UDP。

我的下一个想法是启动多个ffmpeg实例并分别接收流，处理它们并重新流式传输到另一个实例，这将消耗任何类型的流，将它们拼接在一起并发送出去。这实际上是一个很好的设置，因为我需要单独过滤流，裁剪它们，镜头校正，旋转，并且单个ffmpeg实例上的大型-filter_complex可能无法处理所有流。而且我还有3个。

我尝试使用3 fifopipe或使用3 udp://localhost:124x内部流来实现此设置。这些方法都没有解决我的问题，但是分离的ffmpeg实例似乎能够同时接收三个流。我能够通过管道和通过UDP通过mplayer或ffplay打开重复的流。他们完全同步和生活缝合仍然悲惨地失败。管道给我带来了几秒钟的相机延迟，并且在缝合后，流不稳定且不同步。 udp：//因此得到了一个流畅的视频流，但是一台摄像机延迟约5秒，其他摄像机有15和25秒。

这闻起来像缓冲液。更改fifo_size和buffer_size似乎没有多大影响。我试图在重新流媒体实例中添加本地时间时间戳 - 这就是我发现5,15,25秒延迟的方法。我试图在拼接器实例中添加帧时间戳 - 它们完全同步。所以setpts=PTS-STARTPTS也不起作用。

因此，缓冲区发生在udp：// socket和-filter_complex输入之间。我怎么摆脱它？你觉得我的解决方法怎么样？我完全错了吗？

Answer 1

可以通过在每个输入之前添加 -thread_queue_size 1024 来减少数据包丢失（它是一个针对每个输入的命令）。

您是否找到了改善相机间同步的方法？我没有，虽然我相信没有从流中提取 NTP 数据的方法是将每个帧视为没有时间缓冲的实时帧。不过，这种方法还没有运气。

具有多个实时流输入的ffmpeg会在过滤

1 个答案: