Raspberry Pi 3上的OpenCV多USB摄像头

Question

我已经看过很多以前与此相关的问题，没有一个有帮助。

我的设置：

• these之一
  • 它们显示为/dev/video0和/dev/video1
  • 图片为640 x 480
• Raspberry Pi 3
• Raspbian Jessie
• OpenCV 3.1.0
• Python 2.7

对于其中一台摄像机，我可以捕捉图像并以相当不错的速度显示它们，并且延迟时间最短（偶尔会出现伪影）。

然而，当我尝试同时使用两者时，我得到可能帧速率的第10个（虽然每帧之间帧之间的延迟似乎变化很大）与各种令人讨厌的图像伪像（参见例如，以及一段无法容忍的滞后量。

问题不似乎是相机本身或设备上的USB带宽：当我将相机连接到我的Windows PC时，我能够以30 FPS的速度捕捉和显示，而无需任何视觉效果文物和很少的滞后。

我可以说，它必须是Pi硬件，驱动程序或OpenCV才是问题所在。我不认为它是Pi硬件。如果我能用两台相机实现一半相机的帧速率，我会很高兴（而且我不明白为什么不应该这样＃＆＃ 39;是可能的）并且没有丑陋的文物。

有没有人有任何建议？我最终只是试图将两个摄像头的视频从我的Pi流式传输到我的桌面。如果有建议不涉及OpenCV，我全都耳朵;我不是试图对Pi上的图像进行任何渲染或操作，但openCV是我发现的唯一能够快速捕获图像的东西（当然还有一台摄像头）。

仅供参考，我使用的简单python脚本是：

import cv2
import numpy as np
import socket
import ctypes
import struct

cap = []
cap.append(cv2.VideoCapture(0))
cap.append(cv2.VideoCapture(1))

#grab a single frame from one camera
def grab(num):
    res, im = cap[num].read()
    return (res,im)

#grab a frame from each camera and stitch them
#side by side
def grabSBS():
    res, imLeft  = grab(1)
    #next line is for pretending I have 2 cameras
    #imRight = imLeft.copy()
    res, imRight = grab(0)
    imSBS = np.concatenate((imLeft, imRight), axis=1)
    return res,imSBS

###For displaying locally instead of streaming
#while(False):
#    res, imLeft = grab(0)
#    imRight = imLeft.copy()
#    imSBS = np.concatenate((imLeft, imRight), axis=1)
#    cv2.imshow("win", imSBS)
#    cv2.waitKey(20)

header_data = ctypes.create_string_buffer(12)

while(True):
    sck = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    sck.bind(("10.0.0.XXX", 12321))

    sck.listen(1)

    while(True):
        (client, address) = sck.accept()
        print "Client connected:", address
        try:
            while(True):
            res,im = grabSBS()
            if(res):
                success, coded = cv2.imencode('.jpg', im)
                if (success):
                    height, width, channels = im.shape
                    size = len(coded)
                    struct.pack_into(">i", header_data , 0, width)
                    struct.pack_into(">i", header_data , 4, height)
                    struct.pack_into(">i", header_data , 8, size)
                    client.sendall(header_data .raw)
                    client.sendall(coded.tobytes())
        except Exception as ex:
            print "ERROR:", ex
            client.close()
            sck.close()
            exit()

更新：在初始化VideoCapture对象后，通过添加以下代码行，我得到了更好的工作：

cap[0].set(cv2.CAP_PROP_FPS, 15)
cap[1].set(cv2.CAP_PROP_FPS, 15)

这既降低了所需的带宽，也降低了openCV工作负载。我仍然每隔几帧就会得到那些可怕的文物，所以如果有人对此提出建议，我很乐意听到。

Answer 1

好吧，花了大约5个小时与之抗争后，我似乎找到了解决方案。

首先，显然OpenCV试图以30 FPS捕获，即使我无法以30 FPS拉帧。我将VideoCapture帧速率改为15 FPS，视频变得更加流畅，更加快速。

ObservableList<Image> iList = FXCollections.observableArrayList();
iList.addListener(new ListChangeListener<Image>()
{
    @Override
    public void onChanged(javafx.collections.ListChangeListener.Change<? extends Image> change) {
        while(change.next())
        {
            if(change.wasRemoved())
                imgView.setImage(iList.get(0));
        }
    });
}

但是，这并没有摆脱文物。我最终发现，如果我在通过网络发送图像后cap[0].set(cv2.CAP_PROP_FPS, 15.0) cap[1].set(cv2.CAP_PROP_FPS, 15.0) ，那么工件就会完全消失。