Question

我需要你的帮助。我必须从立体图像重建3D空间中的标记。就我而言，我想使用未校准的方法重建标记。

我现在拍摄2张照片并手动标记标记。

import cv2
import numpy as np
from matplotlib import pyplot as plt
from scipy import linalg


img1 =  cv2.imread('3.jpg',0)


img2 = cv2.imread('4.jpg',0)


pts1 = np.array([(1599.6711229946527, 1904.8048128342245), (1562.131016042781, 1734.4304812834225), (1495.7139037433158, 1295.5), 
     (2373.5748663101604, 1604.4839572192514), (2362.0240641711234, 2031.8636363636363), (2359.136363636364, 2199.3502673796793), 
     (2656.5695187165775, 1653.5748663101604), (2676.7834224598937, 1506.302139037433), (2740.312834224599, 1026.9438502673797), 
     (1957.745989304813, 807.4786096256685)],dtype='float64')

pts2 = np.array([(1579.457219251337, 1899.0294117647059), (1539.0294117647059, 1737.3181818181818),
     (1472.612299465241, 1307.0508021390374), (2315.8208556149734, 1633.3609625668448),
     (2298.4946524064176, 2054.9652406417113), (2301.3823529411766, 2190.687165775401), 
     (2630.5802139037432, 1670.9010695187167), (2642.131016042781, 1538.066844919786),
     (2711.4358288770054, 1076.0347593582887), (1949.0828877005351, 842.1310160427806)],dtype='float64')

随后我找到了基本矩阵

F, mask = cv2.findFundamentalMat(pts1,pts2,cv2.FM_7POINT)

并从cv2.computeCorrespondEpilines打印结果

link

它似乎运行良好！

按照opencv网站上的教程，我有以前用棋盘校准过的相机矩阵

mtx=np.array([[3.19134206e+03, 0.00000000e+00, 2.01707613e+03],
       [0.00000000e+00, 3.18501724e+03, 1.54542273e+03],
       [0.00000000e+00, 0.00000000e+00, 1.00000000e+00]])

按照哈特利和齐瑟曼（Hartley and Zisserman）一书中的报道，提取基本矩阵

E = K.t（）* F * K

E = mtx.T * F * mtx

我分解了这个矩阵以找到旋转和平移矩阵

R1, R2, T = cv2.decomposeEssentialMat(E)
kr= np.dot(mtx,R1)
kt= np.dot(mtx,T)
projction2=np.hstack((kr,kt))
projction1 = np.array([[1, 0, 0, 0], [0, 1, 0, 0], [0, 0, 1, 0]])

获得投影矩阵。 P1是第一个矩阵，如上本书所述，它总是P1 = [I | 0]，第二个矩阵是P2 = K [ R | t ]

现在我使用以下代码返回点的三角剖分

points4D = cv2.triangulatePoints(projction1, projction2, pts1.T, pts2.T)

我将齐次坐标转换为笛卡尔坐标，结果是这样的：

coordinate_eucl= cv2.convertPointsFromHomogeneous(points4D.T)

coordinate_eucl=coordinate_eucl.reshape(-1,3)
x,y,z=coordinate_eucl.T

from mpl_toolkits.mplot3d import Axes3D
import matplotlib.pyplot as plt

fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
ax.scatter(x, y, z, c='r', marker='o')
ax.set_xlabel('X Label')
ax.set_ylabel('Y Label')
ax.set_zlabel('Z Label')
plt.show()

link

我怎么了？

thx

Answer 1

最好单独检查每个步骤。（您可能要先看第4步）
1-首先，您说您之前已校准相机。您得到多少重投影错误？您是否进行了任何检查以验证校准是否成功。我还假设您的两台相机基本相同。
2-如果找到的基本矩阵正确（顺便确保两个列表的点列表顺序相同），则它应满足极线约束p' F p = 0，其中p'是右视图中的点，并且p是左视图中的点（均匀像素坐标）。尽管它们不完全是0，但应接近0。此等式必须适用于所有点对应。如果不是，请尝试使用CM_FM_RANSAC或跳至步骤3。
3-检查是否可以使用opencv function直接计算基本矩阵。同样，基本矩阵也必须具有相似的等式。
4- OpenCV decomposeEssentialMat函数返回两个可能的旋转矩阵，并且有两个可能的平移（所以总共4个可能的R T组合）。尝试测试所有这些。如果您可以使用4种组合之一获得正确的解决方案，我将编辑答案以包括如何获得正确的组合。
如果您的基本/基本矩阵计算正确，但问题仍然存在，请告诉我。

Sfm，从立体图像重建

1 个答案: