如何使用立体声对合成新的摄像机视图？

Question

我想使用我已经拥有的一对立体相机从任意视点合成虚拟视图。我已经校准了我的立体声装置，所以我知道两个相机的内在函数和外在函数。我的合成新视图的方法基于3x4相机矩阵计算，该计算基于使用从立体对获得的深度图计算的[X, Y, Z]点。然后，我使用新视图(x, y)中的多个点对应关系，并使用等式[x y 1]' = C * [X Y Z 1]'找出相机矩阵C。我的问题：

1. 这是生成任意视图的正确方法吗？
2. 建议使用多少点对应以及在哪些平面上计算相机矩阵？因为我没有使用6-8分获得好成绩。我无法使用SIFT / SURF，因为图像没有特征，我必须手动标记点。
3. 即使我拿到相机矩阵，如果相机矩阵是不可逆的，那么如何前进翘曲。

如果您需要更多信息，请发表评论。

谢谢！

Answer 1

简答：

1. 不，因为您已经有了深度图，并且您的装备已经过校准。
2. 不相关
3. 不相关

您需要做的就是在深度图上构建一个3D网格（实际上是一个网格）。根据定义，这将在立体声对的任一相机中没有遮挡。然后，您可以使用来自立体相机（或两者）的视图来构造网格，使用更复杂的纹理选择算法，例如，基于哪个视图更平行于每个小平面，从而最小化拉伸）。然后，您可以将网格渲染到您希望的任何其他视图中。