Question

我之前已经问过这个问题＆＃34;使用经过校准的相机得到匹配点进行3D重建＆＃34;但问题没有清楚地描述。所以在这里我使用一个细节案例来展示每一步。希望有人可以帮我找出我的错误。

起初我用坐标制作了10个3D点：

>> X = [0,0,0; 
       -10,0,0; 
       -15,0,0; 
       -13,3,0; 
         0,6,0; 
       -2,10,0; 
       -13,10,0; 
         0,13,0; 
       -4,13,0; 
       -8,17,0]

这些点位于此图中所示的同一平面上： http://oi59.tinypic.com/jjvh8w.jpg

我的下一步是使用3D-2D投影代码来获取2D坐标。在这一步中，我使用了名为＆＃34; project_points.m＆＃34;的caltech校准工具箱的MATLAB代码。我还使用OpenCV C ++代码来验证结果，结果也是如此。（我使用了cvProjectPoints2（））

对于第一次投影，参数为：

>> R = [0, 0.261799387, 0.261799387]
>> T = [0, 20, 100]
>> K = [12800, 0, 1850; 0, 12770, 1700; 0 0 1]

没有失真

>> DisCoe = [0,0,0,0]

旋转只有两个旋转pi/12。然后我得到了第一个视图2D坐标：

>> Points1 = [1850, 4254; 
              686.5, 3871.7; 
              126.3, 3687.6; 
              255.2, 4116.5; 
              1653.9, 4987.6; 
              1288.6, 5391.0; 
              37.7, 4944.1; 
              1426.1, 5839.6; 
              960.0, 5669.1; 
              377.3, 5977.8]

对于第二个视图，我改变了：

>> R = [0, -0.261799387, -0.261799387]
>> T = [0, -20, 100]

然后得到第二个视图2D坐标：

>> Points2 = [1850, -854; 
              625.4, -585.8; 
              -11.3, -446.3; 
              348.6, -117.7; 
              2046.1, -110.1; 
              1939.0, 442.9; 
              588.6, 776.9; 
              2273.9, 754.0; 
              1798.1, 875.7; 
              1446.2, 1501.8]

那将是重建步骤，我已经建立了理想的匹配点（我猜是这样），下一步是使用estimateFundamentalMatrix()来计算基本矩阵：

>> F = [-0.000000124206906,  0.000000155821234,  -0.001183448392236;
       -0.000000145592802,  -0.000000088749112,  0.000918286352329;  
        0.000872420357685,  -0.000233667041696,  0.999998470240927]

知道K，我使用下面的matlab代码计算基本矩阵并计算R，t，最后是3D坐标：

E = K'*F*K;
[u1,w1,v1] = svd(E);
t = (w1(1,1)+w1(2,2))/2;
w1_new = [t,0,0;0,t,0;0,0,0];
E_new = u1*w1_new*v1';
[u2,w2,v2] = svd(E_new);
W = [0,-1,0;1,0,0;0,0,1];
S = [0,0,-1];
P1 = K*eye(3,4);
R = u2*W'*v2';
t = u2*S;
P2 = K*[R t];
for i=1:size(Points1,1)
    A = [P1(3,:)*Poinst1(i,1)-P1(1,:);P1(3,:)*Points1(i,2)-P1(2,:);P2(3,:)*Points2(i,1)-P2(1,:);P2(3,:)*Points2(i,2)-P2(2,:)];
    [u3,w3,v3] = svd(A);
    dpt(i,:) = [v3(1,4) v3(2,4) v3(3,4)];
end

从这段代码我得到如下结果：

>>X_result = [-0.00624167168027166  -0.0964921215725801 -0.475261364542900;
               0.0348079221692933   -0.0811757557821619 -0.478479857606225;
               0.0555763217997650   -0.0735028994611970 -0.480026199527202;
               0.0508767193762549   -0.0886557226954657 -0.473911682320574;
               0.00192300693541664  -0.121188713743347  -0.466462048338988;
               0.0150597271598557   -0.133665834494933  -0.460372995991565;
               0.0590515135110533   -0.115505488681438  -0.460357357303399;
               0.0110271144368152   -0.148447743355975  -0.455752218710129;
               0.0266380667320528   -0.141395768700202  -0.454774266762764;
               0.0470113238869852   -0.148215424398514  -0.445341461836899]

通过在Geomagic中显示这些点，结果是＆＃34;稍微弯曲＆＃34;。但是这些立场似乎是对的。我不知道为什么会这样。有人有点想法吗？请看图片： http://oi59.tinypic.com/n6t63t.jpg

Answer 1

看起来像数字不准确，可能在你的函数估计基础上的矩阵（）。

我的第二个猜测是你的estimateFundamentalMatrix（）没有处理平面情况，这是一些算法的退化情况（例如，线性8点算法不适用于平面场景）。

未校准的基本矩阵估计对于平面场景是不明确的（至少2个解决方案）。参见例如＆＃34;多视图几何＆＃34;作者：Hartley＆amp; Zisserman。

校准相机获得3D重建的匹配点，理想的测试失败

1 个答案: