Question

我有一对立体声，想创建一个视差图。但是，两个图像之间的转换并不是简单地从左到右或上下，而是两者的某种组合。我试图在Open CV Python中使用StereoBM函数，但结果在图像上有黑色和白色的对角线。我的问题是，是否可以使用视差在对角线方向上的两个图像来计算视差图，或者是否需要旋转图像以使此功能起作用？

编辑：在阅读下面的答案并做了一些研究后，我决定尝试使用stereoRectifyUncalibrated函数。我首先使用SURF在第一张图像中找到关键点，然后对第二张图像重复此操作。然后我使用基于FLANN的匹配器匹配点，并删除异常值。然后我使用findFundamentalMat函数找到基本垫，然后我调用stereoRectifyUncalibrated。但是，我得到一个错误，开头是这样的：（ - 215）CV_IS_MAT（_points1）＆amp;＆amp; CV_IS_MAT（_points2）＆amp;＆amp; （_points1-＆gt; rows == 1 || _points1-＆gt; cols == 1）＆amp;＆amp; ...

我已确保所有内容的数据类型相同，并且每个点数组的尺寸相同。我将代码的一部分放在下面使用stereoRectifyUncalibrated的地方。

#Detect feature points with SURF
detector = cv2.SURF()
kp1, desc1 = detector.detectAndCompute(img1, None)
kp2, desc2 = detector.detectAndCompute(img2, None)

#Match Points
FLANN_INDEX_KDTREE = 1  # bug: flann enums are missing
flann_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
matcher = cv2.FlannBasedMatcher(flann_params, {})
matches = matcher.knnMatch(desc1, trainDescriptors = desc2, k=2)
mkp1, mkp2 = [], []
ratio = 0.75
for m in matches:
    if len(m) == 2 and m[0].distance < m[1].distance * ratio:
        m = m[0]
        mkp1.append( kp1[m.queryIdx] )
        mkp2.append( kp2[m.trainIdx] )
np.float32([kp.pt for kp in mkp1])
p1 = np.float32([kp.pt for kp in mkp1])
p2 = np.float32([kp.pt for kp in mkp2])
kp_pairs = zip(mkp1, mkp2)
H, status = cv2.findHomography(p1, p2, cv2.RANSAC, 5.0)
print '%d / %d  inliers/matched' % (np.sum(status), len(status))
statusmat = np.zeros((max(status.shape),2),dtype = np.float64)
statusmat[:,0] = status[:,0]
statusmat[:,1] = status[:,0]
status = np.array(status, dtype=bool)
p1f=p1[status.view(np.ndarray).ravel()==1,:] #Remove Outliers
p2f=p2[status.view(np.ndarray).ravel()==1,:] #Remove Outliers

#Attempt to rectify using stereoRectifyUncalibrated
fundmat, mask = cv2.findFundamentalMat(p1f,p2f,cv2.RANSAC,3,0.99,)
rectmat1, rectmat2 = cv2.stereoRectifyUncalibrated(p1f,p2f,fundmat,imgsize)

感谢目前为止的答案！

Answer 1

似乎这个函数stereoRectifyUncalibrated采用行或列向量，而不是n x 2矩阵输出似乎也有3个元素

p1fNew = p1f.reshape((p1f.shape[0] * 2, 1))
p2fNew = p2f.reshape((p2f.shape[0] * 2, 1))

retBool ,rectmat1, rectmat2 = cv2.stereoRectifyUncalibrated(p1fNew,p2fNew,fundmat,imgsize)

使用Open CV Python创建具有对角视差的StereoBM的dispairty地图

1 个答案: