OpenCV findHomography问题

Question

我正在开发OpenCV中的Panography / Panorama应用程序，我遇到了一个我真想不通的问题。有关全景照片的概念，请查看Panography Wikipedia文章：http://en.wikipedia.org/wiki/Panography

到目前为止，我可以拍摄多张图像，并将它们拼接在一起，同时制作任何我喜欢参考图像的图像;这是我的意思的一点点。

然而，正如您所看到的 - 它有很多问题。我面临的主要问题是图像被切割（重新：最右边的图像，图像的顶部）。为了突出为什么会发生这种情况，我将绘制已匹配的点，并绘制转换结束位置的行：

左图像是参考图像，右图像是翻译后的图像（下面的原始图像） - 我绘制了绿线以突出显示图像。图像有以下角点：

TL: [234.759, -117.696]
TR: [852.226, -38.9487]
BR: [764.368, 374.84]
BL: [176.381, 259.953]

所以我遇到的主要问题是在透视图被更改后的图像：

遭受如此损失：

现在有足够的图像，一些代码。

我正在使用cv::SurfFeatureDetector，cv::SurfDescriptorExtractor和cv::FlannBasedMatcher获取所有这些积分，我通过执行以下操作来计算匹配和更重要的好匹配：

/* calculate the matches */
for(int i = 0; i < descriptors_thisImage.rows; i++) {
    double dist = matches[i].distance;
    if(dist < min_dist) min_dist = dist;
    if(dist > max_dist) max_dist = dist;
}

/* calculate the good matches */
for(int i = 0; i < descriptors_thisImage.rows; i++) {
    if(matches[i].distance < 3*min_dist) {
        good_matches.push_back(matches[i]);
    }
}

这是非常标准的，为此我遵循了此处的教程：http://opencv.itseez.com/trunk/doc/tutorials/features2d/feature_homography/feature_homography.html

要将图像复制到彼此之上，我使用以下方法（其中img1和img2为std::vector< cv::Point2f >）

/* set the keypoints from the good matches */
for( int i = 0; i < good_matches.size(); i++ ) {
    img1.push_back( keypoints_thisImage[ good_matches[i].queryIdx ].pt );
    img2.push_back( keypoints_referenceImage[ good_matches[i].trainIdx ].pt );
}

/* calculate the homography */
cv::Mat H = cv::findHomography(cv::Mat(img1), cv::Mat(img2), CV_RANSAC);

/* warp the image */
cv::warpPerspective(thisImage, thisTransformed, H, cv::Size(thisImage.cols * 2, thisImage.rows * 2), cv::INTER_CUBIC );

/* place the contents of thisImage in gsThisImage */
thisImage.copyTo(gsThisImage);

/* set the values of gsThisImage to 255 */
for(int i = 0; i < gsThisImage.rows; i++) {
    cv::Vec3b *p = gsThisImage.ptr<cv::Vec3b>(i);
    for(int j = 0; j < gsThisImage.cols; j++) {
        for( int grb=0; grb < 3; grb++ ) {
            p[j][grb] = cv::saturate_cast<uchar>( 255.0f );
        }
    }
}

/* convert the colour to greyscale */
cv::cvtColor(gsThisImage, gsThisImage, CV_BGR2GRAY);

/* warp the greyscale image to create an image mask */
cv::warpPerspective(gsThisImage, thisMask, H, cv::Size(thisImage.cols * 2, thisImage.rows * 2), cv::INTER_CUBIC );

/* stitch the transformed image to the reference image */
thisTransformed.copyTo(referenceImage, thisMask);

所以，我有扭曲图像最终的坐标，我有点创建用于这些变换的均匀矩阵 - 但我无法弄清楚我应该如何翻译这些图像所以他们不能被削减。任何帮助或指示非常感谢！

Answer 1

首先，为什么你没有使用新添加的拼接模块？它完全符合您的尝试。

其次，如果您想继续使用代码，要进行纠正，这很容易。在单应矩阵中，翻译表示最后一列的值。

a11 a12 a13 t1
a21 a22 a23 t2
a31 a32 a33 t3
a41 a42 a43 1

（如果您有一个3x3矩阵，您将错过a13..a43列和a41..1行.a33将（应该）变为1）。

所以，你要做的是弄清楚你应该把什么放在最后一列，以便你的图像对齐。

当你知道相机参数时，也检查这篇文章解释（不知何故相反的问题）如何建立单应性。它将帮助您理解矩阵值的作用。

Opencv virtually camera rotating/translating for bird's eye view

并且注意我告诉你的关于最后一栏的所有内容都只是近似值，因为最后一列中的值实际上是翻译加上一些（次要）因素。

Answer 2

一旦找到矩阵，您应该只计算角的变换并收集变换点的最小值和最大x和y值。

一旦你有了这个边界框，只需按(-xmin,-ymin)翻译所有矩阵，然后为结果分配(xmax-xmin)宽和(ymax-ymin)高的图像，然后将所有变换后的图像绘制成。{ / p>

使用这种方法，缝线周围会有黑色区域，但没有剪裁。

自动查找拼接中包含的最大矩形（以获得没有黑色区域和最小剪裁的完整合并图像）实现起来非常烦人。