Question

我想通过OpenCV将视频覆盖放到传入的网络摄像头流上。作为第一步，我尝试将来自/dev/video0的网络摄像头的传入视频流式传输到位于/dev/video1的虚拟视频设备（v4l2loopback）。不幸的是，我无法将网络摄像头流转发到v4l2loopback设备。

我找到了这个帖子：How to write/pipe to a virtual webcam created by V4L2loopback module?，但那里的链接并没有真正帮助我。

从网络摄像头获取和观看流可以很好地使用OpenCV页面中的一些小代码。以及来自v4l2loopback页面的示例代码，例如播放静态视频文件到/dev/video1效果很好。将VLC连接到/dev/video1

时，我可以观看视频

我已经读过必须通过常规的Linux驱动程序命令（open，ioctl，write等）来控制v4l2loopback设备。因此，OpenCV中没有包装类可以写入环回设备。我的网络摄像头以640x480和MJPG流式传输。有趣的是，我可以使用VLC连接到环回设备，我可以看到正确的分辨率，按下播放时显示的Codec和FPS。进度条上的时间计数器也开始运行。但屏幕仍为黑色（带有VLC徽标）。

我大致正在做的是这个（顺便说一下：代码可能无法编译......不想让这里的所有内容混乱......如果您需要更多详细信息，请告诉我）：

int main ( int argc, char **argv ) {
    cv::VideoCapture cap;
    struct v4l2_format vid_format;
    size_t framesize = 640 * 480 * 3; // 3 Bytes per  pixel
    __u8 *buffer = null;
    int fd = null;

    cap.open  ( "/dev/video0" );
    fd = open ( "/dev/video1", O_RDWR );

    memset ( &vid_format, 0, sizeof(vid_format) );
    vid_format.type                = V4L2_BUF_TYPE_VIDEO_OUTPUT;
    vid_format.fmt.pix.width       = cap.get(CV_CAP_PROP_FRAME_WIDTH);
    vid_format.fmt.pix.height      = cap.get(CV_CAP_PROP_FRAME_HEIGHT);
    vid_format.fmt.pix.pixelformat = { 'M', 'J', 'P', 'G' };
    vid_format.fmt.pix.sizeimage   = framesize;
    vid_format.fmt.pix.field       = V4L2_FIELD_NONE;
    vid_format.fmt.pix.colorspace  = V4L2_COLORSPACE_SRGB;
    ioctl ( fd, VIDIOC_S_FMT, &vid_format );

    buffer = (__u8*) malloc ( sizeof(__u8) *framesize );
    memset ( buffer, 0, framesize );

    for(;;) {
        cv::Mat frame;
        cap >> frame;
        write ( fd, &frame.data, framesize );
    }
}

如果有人能给我一个提示，我需要如何转换wecam数据才能让VLC接受它，这真的很棒。

Answer 1

经过大量的研究，我终于能够开发出一种可行的解决方案。需要执行许多步骤，我将在下面详细讨论：

常规

如上面的问题所述，目标是能够获取网络摄像头的传入流并将其转发到虚拟视频设备，而虚拟视频设备又可以使用VLC等工具打开。这被认为是能够进行进一步图像处理的第一步。

1）v4l2loopback

v4l2loopback是Linux的虚拟视频设备（内核模块）。来源可以从这里下载https://github.com/umlaeute/v4l2loopback。下载后，必须执行以下步骤才能运行它：

make sudo make install sudo depmod -a sudo modprobe v4l2loopback

如果您想在Chrome（WebRTC）中使用此视频设备，则需要使用其他参数执行最后一行：

sudo modprobe v4l2loopback exclusive_caps=1

信息：请务必注意，v4l2loopback设备必须设置为与您要在下面的示例中使用的分辨率相同的分辨率。我已经将样本中的定义设置为FullHD，如您所见。如果你想要，例如800x600，您需要在编译之前更改v4l2loopback代码中的默认值，或者在插入模块时通过其他cmd行参数max_width和max_height更改分辨率。内核模块默认运行，分辨率为640x480。您可以使用以下方法获取更多详细信息和所有支持的参数：

modinfo v4l2loopback

2）OpenCV

OpenCV是一个支持捕获和实时视频操作的库。要建立OpenCV，请访问此页面 http://docs.opencv.org/3.0-beta/doc/tutorials/introduction/linux_install/linux_install.html详细解释了所有步骤。

3）示例代码

您可以通过以下方式构建/运行以下示例代码：

g++ -ggdb `pkg-config --cflags --libs opencv` sample.cpp -o sample ./sample

以下是代码：

#include <stdio.h> #include <fcntl.h> #include <errno.h> #include <unistd.h> #include <sys/ioctl.h> #include <linux/videodev2.h> #include "opencv2/opencv.hpp" #define VIDEO_OUT "/dev/video0" // V4L2 Loopack #define VIDEO_IN "/dev/video1" // Webcam #define WIDTH 1920 #define HEIGHT 1080 int main ( int argc, char **argv ) { cv::VideoCapture cap; struct v4l2_format vid_format; size_t framesize = WIDTH * HEIGHT * 3; int fd = 0; if( cap.open ( VIDEO_IN ) ) { cap.set ( cv::CAP_PROP_FRAME_WIDTH , WIDTH ); cap.set ( cv::CAP_PROP_FRAME_HEIGHT, HEIGHT ); } else { std::cout << "Unable to open video input!" << std::endl; } if ( (fd = open ( VIDEO_OUT, O_RDWR )) == -1 ) printf ("Unable to open video output!"); memset ( &vid_format, 0, sizeof(vid_format) ); vid_format.type = V4L2_BUF_TYPE_VIDEO_OUTPUT; if ( ioctl ( fd, VIDIOC_G_FMT, &vid_format ) == -1 ) printf ( "Unable to get video format data. Errro: %d\n", errno ); vid_format.fmt.pix.width = cap.get ( CV_CAP_PROP_FRAME_WIDTH ); vid_format.fmt.pix.height = cap.get ( CV_CAP_PROP_FRAME_HEIGHT ); vid_format.fmt.pix.pixelformat = V4L2_PIX_FMT_RGB24; vid_format.fmt.pix.sizeimage = framesize; vid_format.fmt.pix.field = V4L2_FIELD_NONE; if ( ioctl ( fd, VIDIOC_S_FMT, &vid_format ) == -1 ) printf ( "Unable to set video format! Errno: %d\n", errno ); cv::Mat frame ( cap.get(CV_CAP_PROP_FRAME_HEIGHT), cap.get(CV_CAP_PROP_FRAME_WIDTH), CV_8UC3 ); printf ( "Please open the virtual video device (/dev/video<x>) e.g. with VLC\n" ); while (1) { cap >> frame; cv::cvtColor ( frame, frame, cv::COLOR_BGR2RGB ); // Webcams sometimes deliver video in BGR not RGB. so we need to convert write ( fd, frame.data, framesize ); } }

无法将网络摄像头视频路由到Linux上的虚拟视频设备（通过OpenCV）

1 个答案: