Question

我使用gstreamer访问网络摄像头图像。我使用appsrc来访问这些图像，然后希望能够使用openCv处理它们。所以首先我需要将它们加载到Mat对象中。但是，我只能做到灰度。如果尝试读取多个通道，则会出现“读取访问冲突”异常。

我用来创建Mat的代码如下：

GstSample* sample;
    GstBuffer* buffer;
    GstMapInfo map;

    g_signal_emit_by_name(sink, "pull-sample", &sample);
    g_print("Check frame");
    if (sample != NULL) {

        buffer = gst_sample_get_buffer(sample);
        if (gst_buffer_map(buffer, &map, GST_MAP_READ))
        {


            Mat frame(Size(width, height), CV_8UC3, map.data, cv::Mat::AUTO_STEP);
            imwrite("elephant.jpg", frame);


        }
        g_print("Found frame");
        return GST_FLOW_OK;
    }
    return GST_FLOW_ERROR;

在我使用文件接收器写入文件时，图像是彩色的。

我在代码中使用了以下过滤器帽：

filtercaps = gst_caps_new_simple("image/jpeg", "format", G_TYPE_STRING, "RGB", "width", G_TYPE_INT, width,
        "height", G_TYPE_INT,
        height, "framerate", GST_TYPE_FRACTION, 30,
        1, NULL);

我尝试将此过滤器放在源之后和接收器之前，都没有解决问题。我的管道中也有一个jpeg解码器。

我真的不知道该如何解决。任何帮助或提示，我们将不胜感激！

Answer 1

我自己弄清楚了。问题在于管道的输出不是RGB。我尝试实现一个capsfilter来解决此问题，但这没有解决（我不明白为什么）。

我通过简单地转换管道的输出来解决它。在here中，您可以看到首选输出是I420（YUV颜色格式）。我使用了this post中建议的代码来转换BGRA。我的最终代码如下：

GstSample* sample;
    GstBuffer* buffer;
    GstMapInfo map;
    GstMemory *mem;
    mem = gst_allocator_alloc(NULL, 1000000, NULL);
    gst_memory_map(mem, &map, GST_MAP_WRITE);
    g_signal_emit_by_name(sink, "pull-sample", &sample);
    g_print("Check frame");
    if (sample != NULL) {

        buffer = gst_sample_get_buffer(sample);
        if (gst_buffer_map(buffer, &map, GST_MAP_READ)) 
        {

            g_print("size: %d", map.size);
            Mat frameYUV(height+height/2, width, CV_8UC1 , map.data, cv::Mat::AUTO_STEP);
            cv::Mat frameRGB(height, width, CV_8UC4);
            cv::cvtColor(frameYUV, frameRGB, CV_YUV2BGRA_I420);
            imwrite("elephant.jpg", frameRGB);


        }
        g_print("Found frame");
        return GST_FLOW_OK;
    }
    gst_memory_unmap(mem, &map);
    return GST_FLOW_ERROR;

从Gstreamer创建OpenCv垫会创建灰色图像，但我想要颜色

1 个答案: