Question

我想将一些opencv进程添加到gstreamer管道，然后通过udpsink发送。

我能够像这样从gstreamer读取帧：

// may add some plugins to the pipeline later
cv::VideoCapture cap("v4l2src ! video/x-raw, framerate=30/1, width=640, height=480, format=RGB ! videoconvert ! appsink");
cv::Mat frame;
while(ture){
  cap >> frame;
  // do some processing to the frame
}

但是，无法弄清楚如何将已处理的帧传递到以下管道：appsrc ! x264enc ! mpegtsmux ! udpsink host=localhost port=5000

我已经尝试了

cv::VideoWriter writer = cv::VideoWriter("appsrc ! x264enc ! mpegtsmux ! udpsink host=localhost port=5000",  0, (double)30, cv::Size(640, 480), true);
writer << processedFrame;

然而，接收方没有收到任何信息。（我使用管道$gst-launch-1.0 udpsrc port=5000 ! tsparse ! tsdemux ! h264parse ! avdec_h264 ! videoconvert ! ximagesink sync=false作为接收者）

我的问题是，我可以将已处理的opencv Mat传递给gstreamer管道并让它进行一些编码，然后通过udpsink通过网络发送吗？如果是，我该如何实现？

附带问题，有什么办法可以调试VideoWriter吗？例如检查帧是否实际写入其中。

请注意，我在ubuntu 14.04上使用opencv 2.4.12和gstreamer 1.2。

任何帮助都很棒！

修改为了提供更多信息，我测试了以下代码，并给出了GStreamer Plugin: Embedded video playback halted; module appsrc0 reported: Internal data flow error.

#include <stdio.h>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/opencv.hpp>

int main(int argc, char *argv[]){
    cv::VideoCapture cap("v4l2src ! video/x-raw, framerate=30/1, width=640, height=480, format=RGB ! videoconvert ! appsink");
    if (!cap.isOpened()) {
        printf("=ERR= can't create capture\n");
        return -1;
    }
    cv::VideoWriter writer;
    // problem here
    writer.open("appsrc ! video/x-raw, framerate=30/1, width=640, height=480, format=RGB ! autovideoconvert ! ximagesink sync=false", 0, (double)30, cv::Size(640, 480), true);
    if (!writer.isOpened()) {
        printf("=ERR= can't create writer\n");
        return -1;
    }

    cv::Mat frame;
    int key;

    while (true) {
        cap >> frame;
        if (frame.empty()) {
            printf("no frame\n");
            break;
        }
        writer << frame;
        key = cv::waitKey( 30 );
    }

    cv::destroyWindow( "video" );
}

显然apprc管道出了问题，但我不知道出了什么问题，因为管道gst-launch-1.0 v4l2src ! video/x-raw, framerate=30/1, width=640, height=480, format=RGB ! videoconvert ! ximagesink sync=false工作正常。

Answer 1

经过数小时的搜索和测试，我终于得到了答案。关键是在videoconvert后仅使用appsrc，无需设置上限。因此，编写器管道看起来像appsrc ! videoconvert ! x264enc ! mpegtsmux ! udpsink host=localhost port=5000。

以下示例代码从gstreamer管道读取图像，执行一些opencv图像处理并将其写回管道。

使用此方法，您可以轻松地将任何opencv进程添加到gstreamer管道。

// Compile with: $ g++ opencv_gst.cpp -o opencv_gst `pkg-config --cflags --libs opencv`

#include <stdio.h>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/opencv.hpp>

int main(int argc, char** argv) {

    // Original gstreamer pipeline: 
    //      == Sender ==
    //      gst-launch-1.0 v4l2src 
    //      ! video/x-raw, framerate=30/1, width=640, height=480, format=RGB 
    //      ! videoconvert
    //      ! x264enc noise-reduction=10000 tune=zerolatency byte-stream=true threads=4
    //      ! mpegtsmux 
    //      ! udpsink host=localhost port=5000
    //      
    //      == Receiver ==
    //      gst-launch-1.0 -ve udpsrc port=5000
    //      ! tsparse ! tsdemux 
    //      ! h264parse ! avdec_h264 
    //      ! videoconvert 
    //      ! ximagesink sync=false

    // first part of sender pipeline
    cv::VideoCapture cap("v4l2src ! video/x-raw, framerate=30/1, width=640, height=480, format=RGB ! videoconvert ! appsink");
    if (!cap.isOpened()) {
        printf("=ERR= can't create video capture\n");
        return -1;
    }

    // second part of sender pipeline
    cv::VideoWriter writer;
    writer.open("appsrc ! videoconvert ! x264enc noise-reduction=10000 tune=zerolatency byte-stream=true threads=4 ! mpegtsmux ! udpsink host=localhost port=9999"
                , 0, (double)30, cv::Size(640, 480), true);
    if (!writer.isOpened()) {
        printf("=ERR= can't create video writer\n");
        return -1;
    }

    cv::Mat frame;
    int key;

    while (true) {

        cap >> frame;
        if (frame.empty())
            break;

        /* Process the frame here */

        writer << frame;
        key = cv::waitKey( 30 );
    }
}

希望这会有所帮助。 ;）

Answer 2

好的，这是很长的评论..它不是答案，但很少提示：

1a，使用netcast检查接收方收到的内容.. 它很简单：

shell> nc -l 5000 -u

比检查当你向收货人发送东西时打印的是什么.nc设置为将所有内容转储到屏幕上..

1b，您可以尝试vlc接收并检查调试消息（它位于工具＆gt;消息 - 或按Ctrl + M）。将日志杆设置为2 debug ..然后打开网络流并使用udp://@:5000作为URL ..

顺便说一句，你可以用管道rtp测试它：

appsrc ! x264enc ! mpegtsmux ! rtpmp2tpay ! udpsink host=localhost port=5000

这是在vlc rtp://@:5000然后..

2，使用identity元素检查在appsrc之后流动的内容（非常有用..我经常使用它来调试管道问题）：

将管道更改为（注意标识元素和udpsink的-v）：

cv::VideoWriter writer = cv::VideoWriter("appsrc ! identity silent=false ! x264enc ! mpegtsmux ! udpsink -v host=localhost port=5000",  0, (double)30, cv::Size(640, 480), true);

然后运行你的代码并检查它的输出..它应列出来自appsrc的缓冲缓冲区

3，对于您发布为更新的代码 - 不，我的意思是使用caps=属性作为上限，但也许没有区别：

    writer.open("appsrc caps="video/x-raw, framerate=30/1, width=640, height=480, format=RGB" ! autovideoconvert ! ximagesink sync=false", 0, (double)30, cv::Size(640, 480), true);

如何将opencv mat写入gstreamer管道？

2 个答案: