关于图像拼接的一些问题 - 单应性？

Question

我正在使用Visual Studio 2010上的OpenCV 2.3.1进行图像拼接项目。

我目前遇到两个问题。

（我的声誉不超过10，所以我只能在这篇文章中发布2个超链接。我会在评论区发布另外2个）

我按照以下链接中提到的步骤操作 Stitching 2 images in opencv

1. 在两个图像中查找SURF功能并匹配它们
2. 使用RANSAC删除异常值
3. 计算Homography
4. 将目标图像变形为参考图像

以下图片是我目前的结果：

使用相机位置但方向不同的相机拍摄两张照片（我使用的是三脚架）。



然后我尝试了另一个测试。这次我仍然使用相同的相机拍摄2张图像。但是，我将相机从原来的位置移开了一点，然后拍了第二张照片。 如图所示，结果非常糟糕：



问题1：**这是否意味着**如果2台摄像机处于不同的位置，标准的全景拼接技术（基于单应或相机旋转模型）将不起作用？ < / p>

我试图缝合在不同位置拍摄的图像，因为将来我想在不同位置的2个相机上实现拼接算法，以便扩大FOV， 有点像这样:(我会在评论中发布图片，检查加宽视野）

但现在看起来我的方向错了：（。

---

我刚刚发现，在算法过程中，特征查找和匹配占用了大部分时间。

问题2：我可以只计算2幅图像的某些部分（重叠区域）中的特征并仍然使用Homography执行转换吗？ 即，不要计算整个图像。

我想是这样的，因为我认为如果我指定2个图像之间的重叠区域的数量，则不必计算整个图像中的特征。如果我可以计算和匹配重叠区域中的特征，那么它应该会大大提高速度。

下面显示的第一个代码是原始代码，用于计算整个图像的特征。

    int minHessian = 3000;

    SurfFeatureDetector detector( minHessian );
    vector<KeyPoint> keypoints_1, keypoints_2;

    detector.detect( frm1, keypoints_1 );
    detector.detect( frm2, keypoints_2 );

    //-- Calculate descriptors (feature vectors)  
    SurfDescriptorExtractor extractor; ///

    Mat descriptors_1, descriptors_2;

    extractor.compute( frm1, keypoints_1, descriptors_1 );
    extractor.compute( frm2, keypoints_2, descriptors_2 );

我做了以下事情，试图减少运行整个算法所需的时间：

    //detector.detect( frm1(Rect(0.5*frm1.cols,0,0.5*frm1.cols,frm1.rows)), keypoints_1 );
    //detector.detect( frm2(Rect(0,0,0.6*frm2.cols,frm2.rows)), keypoints_2 );

    //-- Calculate descriptors (feature vectors)
    SurfDescriptorExtractor extractor; ///

    Mat descriptors_1, descriptors_2;

    extractor.compute( frm1(Rect(0.5*frm1.cols,0,0.5*frm1.cols,frm1.rows)), keypoints_1, descriptors_1 );
    extractor.compute( frm2(Rect(0,0,0.6*frm2.cols,frm2.rows)), keypoints_2, descriptors_2 );

使用上面的代码，计算时间显着减少，同时给出错误的结果： （我会在评论中发布图片，请检查错误结果）

目前陷入困境，不知道接下来该做什么。真的希望并且能够提供任何帮助。 感谢。

Answer 1

问题1： 我不能确定，但​​拼接的问题似乎是由于两张照片之间的相机转换。只有全局单应变换，你无法完美地叠加2幅图像。 Homography仅在以下两种情况下足够：

1. 相机经过纯粹的旋转（无翻译）
2. 相机经历一般动作，但场景是平面的

也就是说，如果不是瓶子，你的场景相当平坦（物体与相机的平移相比相当远）。因此，单应性的近似可能仍然是足够的。你只需要正确地混合图像。要做到这一点，首先需要找到一个地方“剪切”两幅图像之间差异最小的图像，并应用（例如拉普拉斯）混合。对于安装在汽车顶部的摄像头问题，这种近似可能仍然合理，因此您仍然可以使用单应性模型。

如果正确混合的单应性不足，您可能需要查看3D重建技术或“放松”单应性要求的其他方法。文献中有几篇论文涉及镶嵌过程中的视差。然而，这些比基本的单应性拼接要复杂得多。

问题2： 是的，这可以做到，只要你非常确定重叠的位置。但是，您需要确保此重叠区域不会太小，否则您计算的单应性可能会出现偏差。 您的办公室数据集的问题似乎是由于摄像机翻译，如前所述。

最后，您可能需要稍微调整SURF特征检测/匹配参数。特征点似乎略偏低。