应用错误收集

我一直在尝试在OpenCV中为项目实施一个简单的SFM管道而且我遇到了一些麻烦。

它适用于未经校准的摄像头所以我没有相机矩阵（是的，我知道它会使事情变得更加复杂和模糊）。
我知道在尝试这样的事情之前我应该阅读更多内容但是我时间紧迫，而且当我遇到它们时，我试图阅读有关事物的内容。

这是我目前的管道，我从许多文章，代码示例和书籍中收集到了。我已经发布了关于其后的具体步骤的问题，并且还想知道我在这个或我做错的事情中有什么遗漏？

这是我目前的管道。

从图像中提取SIFT / SURF关键点。
成对匹配图像。
1. 在成对匹配期间，我运行＆＃34;比率测试＆＃34;减少关键点的数量。
2. （不确定）我读到计算基本矩阵（RANSAC）并从匹配中删除异常值进一步帮助它。
  
  问）我是否需要这样做？它是否太多或者我应该做一些像Homography这样的事情以避免8点的堕落情况？
接下来，我需要选择2张图片来开始重建。
1. 我在图像对之间找到了Homography Inlier的数量。我按照大多数％inlier的顺序迭代图像对列表。
2. 我计算基本矩阵。
3. 我＆＃34;猜测＆＃34; K矩阵并使用Hartley的公式计算基本矩阵。
4. 我用SVD分解这个Essential Matrix，然后验证4个解决方案。
  - 我使用维基百科条目中的逻辑和这个python要点来实现我的检查。
    
    问）这是对的吗？或者我应该对这些点进行三角测量，然后确定它们是否在摄像机前面，或者它是否能够完成相同的操作？
5. 如果在查找Essential Matrix时遇到问题，请跳过它并检查下一个图像对
6. 设置P = [I | 0]和P1 = [R | T]，执行三角测量并将3d点存储在某些数据结构中。还存储P矩阵。
7. 使用大量迭代运行捆绑调整步骤以最大限度地减少错误。
  
  这里有点朦胧，我很确定我搞砸了什么。
8. 根据观察到的最多3d点数选择要添加的下一个图像。
9. 使用类似PnPRasnac之类的东西，从已知的3D点估计这个新图像的姿势。使用R＆amp; S的值。因为它的投影矩阵P1 = [R | t]
10. 对所有这些新图像进行三角测量（我知道，我不需要对所有这些图像进行三角测量）到目前为止使用P矩阵进行三角测量的图像为P = PMatrices [ImageAlreadyTriangulated]并获得P1上方。
  
  问）它是否真的像使用我们使用的P的原始值一样简单？这会将所有东西都放到相同的坐标空间吗？如上所示，三角测量点是否与从P和P1的初始值获得的系统相同，或者我是否需要在此处进行某种转换？
11. 从我们从三角测量中获得的点数中，只添加我们尚未存储的3D点数。
12. 每两张图片后运行一次捆绑调整
13. 返回步骤6，直到添加所有图像。

您建议的管道通常是正确的。 3.1除外。

2.2）正确。 RANSAC随机选取点来估计基本矩阵，并且足够强大到异常值（只要你有足够的有效匹配当然）。 Homography异常值不一定是坏匹配，因此不应使用单应性来过滤匹配。

3.1）不正确：Homography inlier是在两个视图中完美对齐的匹配，例如在两个视图之间呈现成比例或类似移动的点。这意味着，视图对中单应性内容的数量越多，ViewPair作为基线三角测量的种子就越好。使用RANSAC估算的基本矩阵中的这两个视图的相机矩阵很可能会出现不准确，并且重构将永远不会恢复。你想要做的是从ViewPair开始，它具有最低百分比的单应性内容，并且仍然有大量的匹配。不幸的是，具有最高匹配数的图像对通常也具有最高数量的单应性内容。这是因为通常这些对包含非常少的相机移动...

3.4）我所做的是使用所有4种可能的相机矩阵模糊来尝试三角测量。 R1 | t1，R1 | t2，R2 | t1，R2 | t2

8）是的

关于运动管道结构的问题

2 个答案: