Question

我正在尝试在没有校准的情况下进行图像校正，只需使用基本矩阵并使用OpenCV 这是我迄今为止所做的事情：

使用SURF和FLANN描述符匹配器查找两个图像之间的匹配

列出good_match = getGoodMatch（img1，img2）; - ＆GT;它完成了，结果很好
获取img1和img2的匹配点
使用8匹配点（Calib3D.FM_8PPoint）获取基本矩阵 Mat F = getFundamentalMatrix（matchesKeyPoint1，matchesKeyPoint2，good_match）
使用StereorectufyUncalibrated OpenCV获取Homography 3x3矩阵

我从StereoRectifyUncalibrated获得了Homography Matrix H1和H2，那么如何使用该单应矩阵来纠正我的真实图像？有没有办法知道基本矩阵和Homography矩阵具有良好的价值？到目前为止，SURF Image Matching完成了他的工作。是否有任何改善结果的建议？

感谢...

Answer 1

整理图像

给定一组2D点对应关系X＆lt; - ＆gt; X'，单应矩阵的变换是 H 由X'= H X给出。在这里X和X'是homogeneous vectors，这意味着3D矢量X'和 H X不必相等，但它们的大小可以通过非零比例因子来区分。

基本上我们想要做的是将图像中的每个像素与单应矩阵相乘。此外，我们希望在变换后的像素之间应用某种插值，这样我们就可以获得没有“空”像素的平滑图像。幸运的是，OpenCV中存在这样的功能： cvWarpPerspective 。

此功能（在 OpenCV 2.0 中）需要4个参数：

const CvArr * src - 源图像，即您想要纠正的图像。
CvArr * dst - 目标图像，即整流后的结果。此图像应与图像的相同类型与源图像相同。并且尺寸应该适合经过校正的图像（见下一段）。
const CvMat * mapMatrix - 3 X 3单应矩阵。
int flags - 插值方法（例如CV_INTER_LINEAR）与标志CV_WARP_FILL_OUTLIERS和CV_WARP_INVERSE_MAP的组合。

要确定目标图像的大小，可以在源图像的corners上应用单应矩阵的变换，并使用变换后的点来确定大小。左上角的转换如下：

CvMat* point = cvCreateMat(3, 1, CV_64FC1);
CvMat* pointTransform = cvCreateMat(3, 1, CV_64FC1);

cvmSet(point, 0, 0, 0); // The x coordinate of the top left corner is 0.
cvmSet(point, 1, 0, 0); // The y coordinate of the top left corner is 0.
cvmSet(point, 2, 0, 1.0);

// Perform the homography transformation
cvMatMul(homography, point, pointTransform);

// Get the transformed corner's x and y coordinates.
double x = cvmGet(pointTransform, 0, 0) / cvmGet(pointTransform, 2, 0); // Divide by the scale factor s.
double y = cvmGet(pointTransform, 1, 0) / cvmGet(pointTransform, 2, 0); // Divide by the scale factor s.

// Release memory
cvReleaseMat(&point);
cvReleaseMat(&pointTransform);

接下来你要注意的是像素（0,0）可以转换为像素（-5，-10）。如果您应用单应矩阵，然后尝试显示图像，它将无法正确显示。为避免这种情况，您应该做的是根据整流图像的新角的位置计算3 x 3 translation matrix。角落将为您提供信息，您可以向上或向下或向左或向右移动校正后的图像。

然后您可以将此转换矩阵与找到的单应矩阵结合使用，以计算最终转换矩阵，如下所示：

// transformMat:
// [ 1 0 x ]
// [ 0 1 y ]
// [ 0 0 1 ]
// homography: Your homography matrix H1 or H2
// finalMatrix: the resulting matrix you will use in cvWarpPerspective.
// Compute the final transformation matrix based on homography matrix H1
// which can be used to rectify your first image.
cvMatMul(transformMat, H1, finalMatrix);

现在您可以使用cvWarpPerspective转换图像：

cvWarpPerspective(image, rectifiedImage, finalMatrix, 
CV_INTER_LINEAR+CV_WARP_FILL_OUTLIERS);

请注意，您的第一张图像使用单应矩阵H1，第二张图像使用单应矩阵H2。

基本矩阵和单应矩阵是否具有良好的值？

此外，回答您的问题以查看基本矩阵 F 和Homography矩阵 H1 和 H2 是否具有良好的值。基本矩阵 F 应该满足对于任何一对对应点X＆lt; - ＆gt;的条件。 X'：

X' F X = 0。

同样，对于矩阵 H1 ，应满足以下条件：

X'交叉H1 X = 0，其中'cross'是cross product。

改善结果

为了进一步改善您的结果，您可以：

使用不同的描述符查找两个图像之间的匹配。例如，请参阅SIFT和DAISY。
使用RANSAC或LMS算法查找两个图像之间超过8个点的对应关系并过滤异常值（请参阅cvFindFundamentalMatrix中的选项CV_FM_RANSAC和CV_FM_LMEDS）。

Android OpenCV图像校正

1 个答案:

整理图像

基本矩阵和单应矩阵是否具有良好的值？

改善结果