Question

背景

我目前正在使用OpenCV开展立体视觉项目。我正在尝试从一组两个校正的图像创建一个视差图，但我没有得到我期望的结果。在查看校正后的图像时，图像之间会出现明显的垂直偏移，整流后不应出现这种情况。我正在寻找错误可能是什么。我的代码基于OpenCV书中的立体声校准和对应代码，以及this example。我使用OpenCV的C ++接口。我的OpenCV版本是2.1，来自Ubuntu 11.04存储库。

问题的简短版本：

该函数可接受的RMS返回值是什么：

double cv::calibrateCamera(...)

我目前使用一组~20个棋盘图像对来校准每个摄像机。相机是两个相同的PS3眼睛（分辨率为640 * 480像素）安装在一起。 cv::calibrateCamera返回 160 和 300 之间的RMS误差（我对不同的图像集有不同的结果）。这是这个图像分辨率的可接受值还是我应该尝试获得更好的棋盘图像？

长版（详情，代码示例）：

获得立体视觉工作;首先，我想确保相机校准程序正常工作。我使用一系列棋盘图像来校准我的立体声设置，如下所示：

// Find chessboard corners
cv::Mat left = ... //Load image
vector<cv::Point2f> points;

bool found = cv::findChessboardCorners(left, patternSize, points, CV_CALIB_CB_ADAPTIVE_THRESH | CV_CALIB_CB_NORMALIZE_IMAGE);
if(found)
  cv::cornerSubPix(left, points, cv::Size(11, 11), cv::Size(-1, -1), cv::TermCriteria(CV_TERMCRIT_EPS + CV_TERMCRIT_ITER, 30, 0.1));
imagePointsLeft.push_back(points);

我为多个图像对执行此操作，并将结果点放在imagePointsLeft和imagePointsRight中。我在相同的图像上运行了一个单独的程序检查，我在视觉上确认左右图像使用cv::drawChessboardCorners以相同的顺序正确地记录所有角落。对于每个图像对，我还填充一组对象坐标，如下所示：

vector<cv::Point3f> obj;
for(int i = 0; i < ny; i++)
  for(int j = 0; j < nx; j++)
    obj.push_back(cv::Point3f(i*squareSize,j*squareSize,0.0));
objectPoints.push_back(obj);

然后我尝试使用这些图像校准相机：

double rms = cv::calibrateCamera(objectPoints, imagePointsLeft, m_imageSize, m_cameraMatrixLeft, m_distortionMatrixLeft, rvecsLeft, tvecsLeft);

当我使用标记cv::stereoCalibrate调用CV_CALIB_FIX_INTRINSIC时，我使用此函数的相机内在函数（文档here中建议采用这种立体声校准方式。）

我继续拨打cv::stereoRectify和cv::initUndistortRectifyMap，后者用于两台摄像机。使用cv::remap的输出和相机实时馈送，使用initUndistortRectifyMap生成经过校正的图像。两个图像仅包含有效像素（无黑色区域）。我的问题是给定行的像素与另一个图像中的同一行不匹配（存在轻微的垂直偏移）。这使得很难从诸如StereoBM之类的对应算法中获得任何好的结果。

Answer 1

您的相机校准存在问题：cv::calibrateCamera()返回均方根（RMS）重投影误差[1]，并且在良好校准时应该介于0.1和1.0像素之间。作为参考点，我使用由两个硬件同步的Playstation Eye摄像头组成的定制立体摄像头获得大约0.25 px RMS误差，该摄像头以640 x 480分辨率运行。

您确定cv::findChessboardCorners()返回的像素坐标与obj中的像素坐标的顺序相同吗？如果轴被翻转，你会得到类似于你所描述的症状。

[1]：OpenCV通过使用最终的一组校准参数将三维棋盘点投影到图像中并比较角落的位置来计算重投影误差。 RMS误差为300意味着，平均而言，这些投影点中的每一个都远离其实际位置300 px。

来自cv :: calibrateCamera的“可接受”返回值是多少？

1 个答案: