MATLAB估计UncalibratedRectification非确定性行为

Question

我已经编写了下面的功能来执行图像校正。我只使用标准的MATLAB库函数（estimateUncalibratedRectification和estimateFundamentalMatrix）和我自己的MATLAB matchFeatures包装函数来执行立体声校正。然而，通过相同的输入，我每次都会得到不同的结果。我知道这与使用RANSAC估计基本矩阵有关。然而，整改有时是可怕的，有些可以通过。例如，我的函数有超过10次不同的运行，输入相同，两个结果没问题，而8个给出了这个错误的变化：

Warning: An epipole may be located inside of an image. The epipoles
are located at [285.8503,76.1656] in I1 and [265.5734,130.3931] in I2,
but the specified imageSize was [320,568]. Severe distortion may
result if T1 or T2 are used to transform these images. See
isEpipoleInImage for more information. 
> In coder.internal.warning (line 7)
  In cvalgEstimateUncalibratedRectification (line 114)
  In estimateUncalibratedRectification (line 107)
  In pairwiseTransformation (line 48)

我认为这意味着整改无法将epipole投射到无穷大。

这里发生了什么？值得注意的是，我的图像之间有279个推定匹配和32个inlierMatches。

我的功能：

function [t1, t2] = pairwiseTransformation(img1, img2, features1, features2)

    % Identify putative matches
    [matches1, matches2] = matchFeaturePoints(rgb2gray(img1), features1, ...
        rgb2gray(img2), features2);

    % Estimate the fundamental matrix so that matches2' * F * matches1 = 0
    % F transforms matches1 to a line that runs through the corresponding
    % point in matches1. Therefore, any rotation and translation derived from F
    % (and E) will apply to camera 2's relative position, holding camera 1 fixed.
    [F, inliers] = estimateFundamentalMatrix(matches1, matches2, 'Method', 'RANSAC', ...
        'NumTrials', 2000, 'DistanceThreshold', 1e-4);

    % Use the RANSAC inliers to determine the relative position of img2 compared to img1
    inlierMatches1 = matches1(inliers, :);
    inlierMatches2 = matches2(inliers, :);


    [t1, t2] = estimateUncalibratedRectification(F, inlierMatches1, inlierMatches2, ...
        size(img1));

    r1 = imwarp(img1, projective2d(t1), 'OutputView', imref2d(size(img1)));
    r2 = imwarp(img2, projective2d(t2), 'OutputView', imref2d(size(img1)));

    figure;
    subplot(2,2,1),imshow(img1)
    subplot(2,2,2),imshow(img2)
    subplot(2,2,3),imshow(r1)
    subplot(2,2,4),imshow(r2)
end

这是一个不错的整改（顶行是原始图像，底部是纠正的）：

这是一个完全拙劣的努力，给了epipole警告：

Answer 1

32个inlier匹配似乎太少了...你的推定匹配怎么样？

要尝试的一件事是调整estimateFundamentalMatrix的参数。我会使用MSAC代替RANSAC，并将DistanceThreshold增加到类似.1甚至1的内容。同时您可能需要增加Confidence参数，也许到99.99。这将迫使RANSAC进行更多的试验，并增加找到正确解决方案的机会。

要尝试的另一件事是从matchFeatures获得更多更好的推定匹配。您应该尝试调整功能检测器功能的参数以获得更多功能，然后调整matchFeatures的参数以确保匹配仍然良好。您还可以尝试不同的探测器和描述符。