Question

作为硕士论文的一部分，我正在探索Structure From Motion。在阅读H&Z book的部分内容后，通过在线教程阅读并阅读了许多SO帖子，我得到了一些有用的结果，但我也遇到了一些问题。我正在使用OpenCVSharp包装器。所有图像都使用相同的相机拍摄。

我现在拥有的：

首先我计算初始的3d点坐标。我通过以下步骤执行此操作：

计算Farneback的密集光流。
使用Cv2.FindFundamentalMat和RANSAC

使用相机内在函数获取基本矩阵（此时我使用预先确定的内在函数）并对其进行分解：

Mat essential = camera_matrix.T() * fundamentalMatrix * camera_matrix;

SVD decomp = new SVD(essential, OpenCvSharp.SVDFlag.ModifyA);

Mat diag = new Mat(3, 3, MatType.CV_64FC1, new double[] {
    1.0D, 0.0D, 0.0D,
    0.0D, 1.0D, 0.0D,
    0.0D, 0.0D, 0.0D
});

Mat Er = decomp.U * diag * decomp.Vt;

SVD svd = new SVD(Er, OpenCvSharp.SVDFlag.ModifyA);

Mat W = new Mat(3, 3, MatType.CV_64FC1, new double[] {
    0.0D, -1.0D, 0.0D,
    1.0D, 0.0D, 0.0D,
    0.0D, 0.0D, 1.0D
});

Mat Winv = new Mat(3, 3, MatType.CV_64FC1, new double[] {
    0.0D, 1.0D, 0.0D,
    -1.0D, 0.0D, 0.0D,
    0.0D, 0.0D, 1.0D
});

Mat R1 = svd.U * W * svd.Vt;
Mat T1 = svd.U.Col[2];
Mat R2 = svd.U * Winv * svd.Vt;
Mat T2 = -svd.U.Col[2];

Mat[] Ps = new Mat[4];

for (int i = 0; i < 4; i++)
    Ps[i] = new Mat(3, 4, MatType.CV_64FC1);

Cv2.HConcat(R1, T1, Ps[0]);
Cv2.HConcat(R1, T2, Ps[1]);
Cv2.HConcat(R2, T1, Ps[2]);
Cv2.HConcat(R2, T2, Ps[3]);

然后通过对点进行三角测量，然后将它们乘以投影矩阵（我尝试了Cv2.TriangulatePoints和具有类似结果的H＆amp; Z版本）并检查，检查哪个投影矩阵在两个摄像机前面的点数最多对于正Z值（在从同质值转换后）：
```
P * point3D
```
此时我应该有更多或更少正确的3D点。 3D可视化看起来非常正确。

然后我通过再次使用密集光流计算每个新帧的SolvePNP，并且使用已知的先前投影矩阵，我计算下一个3D点并将它们添加到模型中。 3D可视化看起来或多或少都是正确的（此时没有束调整）。

因为我需要在每个新帧中使用SolvePNP，所以通过使用基本矩阵为前2个图像计算的帧来检查它。从理论上讲，投影矩阵应与初始算法计算的投影矩阵相同或几乎相同 - 我使用初始3D点和第二幅图像中的相应2D点。但它不一样。

这是通过分解基本矩阵计算的：

0,955678480016302 -0,0278536127242155 0,293091827064387 -0,148461857222772 
-0,0710609269521247 0,944258717203142 0,321443338158658 -0,166586733489084 
0,285707870900394 0,328023857736121 -0,900428432059693 0,974786098164824

这是我从SolvePnPRansac得到的那个：

0,998124823499476 -0,0269266503551759 -0,0549708305812315 -0,0483615883381834 
0,0522887223187244 0,8419572918112 0,537004476968512 -2,0699592377647 
0,0318233598542908 -0,538871853288516 0,841786433426546 28,7686946357429

它们看起来都像正确的投影矩阵，但它们是不同的。

对于阅读整篇文章的患者，我有3个问题：

1. Why are these matrices different? I know the reconstruction is up to scale, but since I have an arbitrary scale assigned in the first place the SolvePNP should keep that scale.
2. I noticed one strange thing - the translation in the first matrix seems to be exactly the same no matter what images I use.
3. Is the overal algorithm correct, or am I doing something wrong? Do I miss some important step?

如果需要更多代码，请通知我，我将编辑问题。

谢谢！

Answer 1

从开始，有一个明显的原因可以解释为什么你描述的两种方法不可能提供完全相同的投影矩阵：它们都使用RANSAC估算它们的结果，RANSAC是一种基于随机性的算法。由于两种方法随机选择一些对应关系以估计拟合其中大多数的模型，因此结果取决于所选择的对应关系。

因此，你不能指望用两种方法获得完全相同的投影矩阵。但是，如果一切正常，它们应该非常接近，但事实并非如此。您展示的两个矩阵的翻译非常不同，表示可能存在更严重的问题。

首先，无论我使用什么图像，＆＃34;第一个矩阵中的翻译似乎完全相同的事实＆＃34;在我看来，你的实现中可能存在一个错误。我建议先详细调查一下。

第二，我不认为在Motion From Motion工作流程中使用光流是合适的。实际上，光流需要两个所考虑的图像非常接近（例如，视频的两个连续帧），而两个图像中的对应点的3D三角测量需要大的基线以便准确。这两个要求是矛盾的，这可能会导致结果出现问题和不准确，从而解释了两种方法的不同结果。

例如，如果您考虑的两个图像是两个连续的视频帧，您将无法准确地对点进行三角测量，这可能会导致在步骤4中选择错误的投影矩阵，并可能导致{{1}估计错误的投影矩阵。另一方面，如果您考虑的两个图像具有较大的基线，则三角测量将是准确的，但光流可能会有很多不匹配，这将在整个工作流程中引入错误。

您可以做的一件事，为了了解问题的来源，将使用已知投影矩阵和3D点的综合数据。然后，您可以分析每个步骤的准确性，并检查它们是否产生预期结果。

Answer 2

我写信是为了让每个人都知道我没有成功解决这个问题 - 我使用基本矩阵初始三角测量而不是SolvePnP，尽管他们知道结果是不正确的。它不是一个完美的解决方案，但有时它可行。这足以让我的整个项目被接受并让我毕业：）

Answer 3

我知道我参加这个聚会有点晚了，但我想指出你们两种方法之间的根本区别。从基本矩阵获得的相机姿势达到了规模，而您从solvePnP获得的相机姿势应该是世界单位。换句话说，从基本矩阵得到的平移向量是单位向量，而从solvePnP得到的平移向量的大小应该接近摄像机与坐标系原点之间的实际距离。

OpenCV：基本矩阵和SolvePnPRansac的投影矩阵完全不同

3 个答案: