我正在使用此遗留代码:http://fossies.org/dox/opencv-2.4.8/trifocal_8cpp_source.html 用于从来自3个不同视图的给定对应2D点估计3D点。我遇到的问题与此处所述的相同:http://opencv-users.1802565.n2.nabble.com/trifocal-tensor-icvComputeProjectMatrices6Points-icvComputeProjectMatricesNPoints-td2423108.html
我可以使用 icvComputeProjectMatrices6Points 成功计算投影矩阵。我从3个视图中使用了6组相应的点。结果如下:
projMatr1 P1 =
[-0.22742541, 0.054754492, 0.30500898, -0.60233182;
-0.14346679, 0.034095913, 0.33134204, -0.59825808;
-4.4949986e-05, 9.9166318e-06, 7.106331e-05, -0.00014547621]
projMatr2 P2 =
[-0.17060626, -0.0076031247, 0.42357284, -0.7917347;
-0.028817834, -0.0015948272, 0.2217239, -0.33850163;
-3.3046148e-05, -1.3680664e-06, 0.0001002633, -0.00019192585]
projMatr3 P3 =
[-0.033748217, 0.099119112, -0.4576003, 0.75215244;
-0.001807699, 0.0035084449, -0.24180284, 0.39423448;
-1.1765103e-05, 2.9554356e-05, -0.00013438619, 0.00025332544]
此外,我使用 icvReconstructPointsFor3View 计算3D点数。六个3D点如下:
4D points =
[-0.4999997, -0.26867214, -1, 2.88633e-07, 1.7766099e-07, -1.1447386e-07;
-0.49999994, -0.28693244, 3.2249036e-06, 1, 7.5971762e-08, 2.1956141e-07;
-0.50000024, -0.72402155, 1.6873783e-07, -6.8603946e-08, -1, 5.8393886e-07;
-0.50000012, -0.56681377, 1.202426e-07, -4.1603233e-08, -2.3659911e-07, 1]
虽然实际3D点数如下:
- { ID:1,X:500.000000, Y:800.000000, Z:3000.000000}
- { ID:2,X:500.000000, Y:800.000000, Z:4000.000000}
- { ID:3,X:1500.000000, Y:800.000000, Z:4000.000000}
- { ID:4,X:1500.000000, Y:800.000000, Z:3000.000000}
- { ID:5,X:500.000000, Y:1800.000000, Z:3000.000000}
- { ID:6,X:500.000000, Y:1800.000000, Z:4000.000000}
我现在的问题是,如何将P1,P2和P3转换为允许的形式 有意义的三角测量?我需要使用三焦张量计算正确的3D点。
答案 0 :(得分:9)
三焦张量对你没有帮助,因为像基本矩阵一样,它只能实现场景和相机姿势的投影重建。如果X0_j
和P0_i
是真正的3D点和相机矩阵,则意味着重建点Xp_j = inv(H).X0_j
和相机矩阵Pp_i = P0_i.H
仅定义为常见的4x4矩阵{ {1}},这是未知的。
要获得指标重建,您需要知道相机的校准矩阵。无论您是否知道这些矩阵(例如,如果您使用虚拟摄像机进行图像渲染)或使用摄像机校准估算它们(请参阅OpenCV calibration tutorials),您都可以找到一种方法来获取“几何”§7.4.5中的度量重建,三维张量的约束和计算“,作者:C.Ressl (PDF)。
请注意,即使使用此方法,也无法获得按比例缩放的3D重建,除非您有一些额外的知识(例如了解两个固定3D点之间的实际距离)。
算法草图:
输入:三个相机矩阵H
(投影世界坐标,选择的坐标系为P1, P2, P3
),相关的校准矩阵P1=[I|0]
和一个点对应{{1} }。
输出:三个相机矩阵K1, K2, K3
(度量重建)。
设置x1, x2, x3
计算基本矩阵P1_E, P2_E, P3_E
,P1_E=K1.[I|0]
。表示F21
和F31
,您有P2=[A|a]
和P3=[B|b]
(参见[HZ00]中的表9.1),其中3x1向量为e F21=[a]x.A
计算基本矩阵F31=[b]x.B
和[e]x = [0,-e_3,e_2;e_3,0,-e_1;-e_2,e_1,0]
对于E21 = K2'.F21.K1
,请执行以下操作
我。计算SVD E31 = K3'.F31.K1
。如果i = 2,3
设置Ei1=U.S.V'
。如果det(U)<0
设置U=-U
。
II。定义det(V)<0
,V=-V
和W=[0,-1,0;1,0,0;0,0,1]
III。定义Ri=U.W.V'
,ti = third column of U
和M=[Ri'.ti]x
IV。如果X1=M.inv(K1).x1
,请设置Xi=M.Ri'.inv(Ki).xi
并重新计算X1_3.Xi_3<0
和Ri=U.W'.V'
诉如果M
设置X1
VI。定义X1_3<0
执行以下操作以检索t3的正确比例(与ti = -ti
)相符:
我。定义Pi_E=Ki.[Ri|ti]
和||t2||=1
II。定义p2=R2'.inv(K2).x2
III。计算比例p3=R3'.inv(K3).x3
IV。设置M=[p2]x
算法结束:相机矩阵s=(p3'.M.R2'.t2)/(p3'.M.R3'.t3)
有效,直至场景的各向同性缩放和3D坐标系的更改(因此它是度量重建)。
[HZ00]“计算机视觉中的多视图几何”,作者:R.Hartley和A.Zisserman,2000年。