翘曲/弯曲点云

Question

我正在使用校准的立体声对进行稀疏重建。这是我一步一步采取的方法：

1- I使用MATLAB中的Stereo Camera Calibrator应用程序校准我的立体相机。

2- I拍摄一对立体图像并将每张图像无失真。

3- I检测，提取和匹配点要素。

4- I使用MATLAB中的三角函数通过将stereoParametes对象传递到三角形来获得匹配点的3D坐标。得到的3D坐标相对于摄像机1（右摄像机）的光学中心，以毫米为单位。

问题是点云似乎会弯曲并向图像边缘弯曲。起初它看起来像镜筒的扭曲对我来说。所以我使用MATLAB相机校准器app重新校准了大黄蜂XB3相机。但是这次我使用了3个径向畸变系数，还包括切向和偏斜参数。但结果是一样的。我也尝试过Caltech的相机校准工具箱，但它与MATLAB的结果相同。两个工具箱中的径向畸变系数相似。另一个问题是点云中的Z值都是负值，但我认为这可能来自于我使用正确的相机作为相机1并将相机作为相机2而不是MATLAB＆＃39; s坐标系在附加的链接中。

我已经从稀疏和密集的3D重建中附加了几张3D点云图片。我不喜欢Dense 3D，但只是想做它，看它问题是否仍然存在。我认为这意味着主要的问题是图像和相机校准而不是算法。

现在我的问题是：

1-翘曲/弯曲3D点云的主要原因是什么？是仅摄像机校准还是其他步骤也可能引入错误？我怎么检查呢？

2-除了MATLAB和加州理工学院之外，您能否建议另一个摄像机校准工具箱？也许一个更适合径向扭曲？

由于

图片：

链接：

coordinate system

代码：

clear
close all
clc

load('mystereoparams.mat');
I11 = imread('Right.tif');
I22 = imread('Left.tif');
figure, imshowpair(I11, I22, 'montage');
title('Pair of Original Images');

[I1, newOrigin1] = undistortImage(I11,stereoParams.CameraParameters1);
[I2, newOrigin2] = undistortImage(I22,stereoParams.CameraParameters2);
figure, imshowpair(I1, I2, 'montage');
title('Undistorted Images');

% Detect feature points
imagePoints1 = detectSURFFeatures(rgb2gray(I1), 'MetricThreshold', 600);
imagePoints2 = detectSURFFeatures(rgb2gray(I2), 'MetricThreshold', 600);

% Extract feature descriptors
features1 = extractFeatures(rgb2gray(I1), imagePoints1);
features2 = extractFeatures(rgb2gray(I2), imagePoints2);

% Visualize several extracted SURF features
figure;
imshow(I1);
title('1500 Strongest Feature Points from Image1');
hold on;
plot(selectStrongest(imagePoints1, 1500));

indexPairs = matchFeatures(features1, features2, 'MaxRatio', 0.4);
matchedPoints1 = imagePoints1(indexPairs(:, 1));
matchedPoints2 = imagePoints2(indexPairs(:, 2));

% Visualize correspondences
figure;
showMatchedFeatures(I1, I2, matchedPoints1, matchedPoints2,'montage');
title('Original Matched Features from Globe01 and Globe02');

% Transform matched points to the original image's coordinates
matchedPoints1.Location = bsxfun(@plus, matchedPoints1.Location, newOrigin1);
matchedPoints2.Location = bsxfun(@plus, matchedPoints2.Location, newOrigin2);

[Cloud, reprojErrors] = triangulate(matchedPoints1, matchedPoints2, stereoParams);
figure;plot3(Cloud(:,1),Cloud(:,2),Cloud(:,3),'b.');title('Point Cloud before noisy match removal');
xlabel('X'), ylabel('Y'), zlabel('Depth (Z) in mm')

% Eliminate noisy points
meanmean=mean(sqrt(sum(reprojErrors .^ 2, 2)))
standdev=std(sqrt(sum(reprojErrors .^ 2, 2)))
errorDists = max(sqrt(sum(reprojErrors.^2,2)),[],14);

validIdx = errorDists < meanmean+standdev;
tt1=find(Cloud(:,3)>0);
validIdx(tt1)=0;
tt2=find(abs(Cloud(:,3))>1800);
validIdx(tt2)=0;
tt3=find(abs(Cloud(:,3))<1000);
validIdx(tt3)=0;

points3D = Cloud(validIdx, :);

figure;plot3(points3D(:,1),points3D(:,2),points3D(:,3),'b.');title('Point Cloud after noisy match removal');
xlabel('X'), ylabel('Y'), zlabel('Depth (Z) in mm')

validPoints1 = matchedPoints1(validIdx, :);
validPoints2 = matchedPoints2(validIdx, :);

figure;
showMatchedFeatures(I1, I2, validPoints1,validPoints2,'montage');
title('Matched Features After Removing Noisy Matches');

% get the color of each reconstructed point
validPoints1 = round(validPoints1.Location);
numPixels = size(I1, 1) * size(I1, 2);
allColors = reshape(im2double(I1), [numPixels, 3]);
colorIdx = sub2ind([size(I1, 1), size(I1, 2)], validPoints1(:,2), ...
    validPoints1(:, 1));
color = allColors(colorIdx, :);

% add green point representing the origin
points3D(end+1,:) = [0,0,0];
color(end+1,:) = [0,1,0];

% show images
figure('units','normalized','outerposition',[0 0 .5 .5])
subplot(1,2,1);
imshowpair(I1, I2, 'montage');
title('Original Images')

% plot point cloud
hAxes = subplot(1,2,2);
showPointCloud(points3D, color, 'Parent', hAxes, ...
    'VerticalAxisDir', 'down', 'MarkerSize', 40);
xlabel('x-axis (mm)');
ylabel('y-axis (mm)');
zlabel('z-axis (mm)')
title('Reconstructed Point Cloud');

figure, scatter3(points3D(:,1),points3D(:,2),points3D(:,3),50,color,'fill')
xlabel('x-axis (mm)');ylabel('y-axis (mm)');zlabel('z-axis (mm)')
title('Final colored Reconstructed Point Cloud');

Answer 1

您的代码看起来正确。问题似乎在于校准。您获得具有3个系数的扭曲图像这一事实告诉我，您可能没有足够的数据点靠近图像的边缘来准确估计失真。但是很难看到你的图像。如果你拍摄一个有很多直边的场景并且没有任何表现，你就会有更好的想法。

因此我建议您使用棋盘格拍摄更多图像，尽可能靠近图像的边缘。看看是否有帮助。

要看的另一件事是估计错误。在R2014b中，Stereo Camera Calibrator应用程序可以选择返回每个估计参数的标准误差值。这些可以给你置信区间，并告诉你是否需要更多的数据点。见这个例子。

哦，还要确保您的校准图像不会保存为jpeg。请使用像tiff或png这样的无损格式。