OpenCV图像拼接在右边界之后留下空白区域

Question

我曾尝试使用OpenCV 3.0进行拼接;结果很好，但也给了我一个黑色的空白区域。

for (int i = 0; i < best_matches.size(); i++)
{
    //-- Get the keypoints from the good matches  
    FirstImageMatchPT.push_back(keypoints1[best_matches[i].queryIdx].pt);
    SecondImageMatchPT.push_back(keypoints2[best_matches[i].trainIdx].pt);
}

vector<unsigned char> match_mask;
Mat MatchedImage = findHomography(SecondImageMatchPT, FirstImageMatchPT, CV_RANSAC);


cv::Mat result;
result = img_Right.clone();
warpPerspective(img_Right, result, MatchedImage, cv::Size(img_Left.cols + img_Right.cols, img_Left.rows));

cv::Mat half(result, cv::Rect(0, 0, img_Left.cols, img_Left.rows));
img_Left.copyTo(half);

＆＃39; findHomography＆＃39;的第一个变量是第二个（我的意思是右图）的匹配点，第二个是第一个（左图）的匹配点。

我交换变量的原因是，如果我运行下面的代码，它会裁剪左图并向我显示左边的匹配区域加右图像。 （甚至有更大的空白区域）

for (int i = 0; i < best_matches.size(); i++)
{
    //-- Get the keypoints from the good matches  
    FirstImageMatchPT.push_back(keypoints1[best_matches[i].queryIdx].pt);
    SecondImageMatchPT.push_back(keypoints2[best_matches[i].trainIdx].pt);
}

vector<unsigned char> match_mask;
Mat MatchedImage = findHomography(FirstImageMatchPT, SecondImageMatchPT, CV_RANSAC);


cv::Mat result;
result = img_Left.clone();
warpPerspective(img_Left, result, MatchedImage, cv::Size(img_Left.cols + img_Right.cols, img_Left.rows));


cv::Mat half(result, cv::Rect(0, 0, img_Right.cols, img_Right.rows));
img_Right.copyTo(half);

你能告诉我如何为此做出正确的RoI吗？如何自动剪切该空白区域？

Answer 1

您在最终图像中得到黑色区域，因为result矩阵本质上是一个比拼接结果可以填充的更大的画布。您可以通过将画布定义为与变形图像/图像可以填充的尺寸完全相同的尺寸来解决此问题。

单应矩阵定义了平面投影变换。使用此矩阵，您可以将一个平面（在您的情况下为右图像）投影到另一个平面（左图）。现在，您可以使用相同的矩阵来预测应用此平面投影变换后右图像的四个角投影到的位置。

你正在计算这一行中两幅图像之间的单应性。

Mat MatchedImage = findHomography(SecondImageMatchPT, FirstImageMatchPT, CV_RANSAC);

您可以使用MatchedImage中存储的相同单应矩阵（3x3）来估计第二张图像的四个角投射到w.r.t的位置。第一张图片。右图的四个坐标如下。

topLeft = {0.0, 0.0}, topRight = {W, 0.0}, bottomLeft = {0.0, H}, bottomRight = {W, H}

在齐次坐标中，这些将是，

topLeftH = {0.0, 0.0, 1.0}, topRightH = {W, 0.0, 1.0}, bottomLeftH = {0.0, H, 1.0}, bottomRightH = {W, H, 1.0}

您可以按如下方式计算这些角的投影坐标，

projTopLeft = HomographyMatrix . topLeftH projTopRight = HomographyMatrix . topRightH ...

这可以使用OpenCV函数完成，如下所示，

std::vector<Point2f> imageCorners(4);
imageCorners[0] = cvPoint(0,0); 
imageCorners[1] = cvPoint( img_right.cols, 0 );
imageCorners[2] = cvPoint( img_right.cols, img_right.rows );   
imageCorners[3] = cvPoint( 0, img_right.rows );
std::vector<Point2f> projectedCorners(4);

perspectiveTransform( imageCorners, projectedCorners, H);

找到投影角后，可以使用新坐标计算最终画布的大小。

在你的代码中，这些行应该改变，

cv::Mat result;
result = img_Right.clone();

到

cv::Mat result(cv::Size(COMPUTED_SIZE_AS_ABOVE), img_Right.type());