OpenCV - 从2D

Question

我看到很多人提出类似的问题，但我无法完全匹配我的问题的答案

我有标记，我在图像坐标中得到它（x，y）。我可以得到变换矩阵和旋转矩阵。现在我怎么得到（x，y，z）坐标？

（如果有人可以告诉我如何解决我的问题或重定向，我将不胜感激）。

编辑：我使用Alvar库，在那里我得到标记坐标，我也可以得到它的姿势（所以我也有旋转矩阵3x3，翻译矩阵3x4或4x4）

编辑2：我搜索了更多，我研究了允许我获取旋转和平移矩阵的方法。好吧，我说我可以得到两个矩阵取决于输入参数。但是，如果我将参数设置为3x3矩阵，我将只有旋转矩阵，但如果我放置3x4或4x4矩阵，我将得到：

• 4x4
  | r0 r1 r2 t1 |
  | r3 r4 r5 t2 |
  | r6 r7 r8 t3 |
  | 0 0 0 1 |

• 3x4
  | r0 r1 r2 t1 |
  | r3 r4 r5 t2 |
  | r6 r7 r8 t3 |

Answer 1

假设您在图像平面上以像素为单位有一个图像点：cv::Vec2d imagePoint(u, v);

首先，您应该在相机坐标系中转换此点。假设您的相机的内在参数（相机矩阵和镜头失真系数）已知，您可以计算观察到的(u', v')的理想imagePoint坐标：

u'' = (u - cx)/fx
v'' = (v - cy)/fy
(u', v') = undistort(u'', v'', distCoeffs)

cx和cy是通常在图像中心周围的主要点的坐标，此外fx和fy是以像素为单位的焦距（你可以从相机矩阵中获取它们）。 distCoeffs包含径向/切向失真系数，它们也是cv::calibrateCamera(...)的结果。

无论如何，您不应手动计算(u', v')，因为cv::undistortPoints(...)通过调用no或默认R和P参数的函数来执行此操作。

摄像机坐标系中imagePoint的点如下：

std::vector<cv::Vec2d> imagePts;
std::vector<cv::Vec2d> idealPts;
imagePts.push_back(imagePoint);

cv::undistortPoints(imagePts, idealPts, cameraMatrix, distCoeffs);

const double lambda = 1.0;
cv::Mat cameraPt(3, 1, CV_64F);
cameraPt.at<double>(0) = idealPts[0][0] * lambda;
cameraPt.at<double>(1) = idealPts[1][1] * lambda;
cameraPt.at<double>(2) = lambda;

此时，您需要使用相机到世界变换矩阵来表示世界坐标系中的cameraPt：

cv::Mat camToWorld = cv::Mat::eye(4, 4, CV_64FC1);
// Fill camToWorld with [R^T|-R^T*t]
// ...

cameraPt.push_back(1.0);
cv::Mat worldPt = camToWorld * cameraPt;

到目前为止，worldPt定义了与imagePoint对应的世界坐标系中的光线。也就是说，光线/线的每个点都可以投射到相同的imagePoint，因此世界上有无数个点属于同一个imagePoint。但是，例如使用Möller-Trumbore射线三角交叉算法，您可以确定世界平面上的一个三维点。