Question

我目前正在使用Python中的OpenCV来校正航拍图像中的图像失真。我有滚动，俯仰和偏航的数据。我知道我需要创建一个扭曲矩阵，并将矩阵应用到我的原始坐标点以创建图像的输出点。我能够影响图像的移动方式，但我觉得有一个错误，因为唯一的值似乎适用于非常小的值。

这是我目前的代码：

warp_mat = np.array([[math.cos(theta)*math.cos(psy), math.cos(phi)*math.sin(psy)+math.sin(phi)*math.sin(theta)*math.cos(psy), math.sin(phi)*math.sin(psy)-math.cos(phi)*math.sin(theta)*math.cos(psy)],\
                    [-1*math.cos(theta)*math.sin(psy), math.cos(phi)*math.cos(psy)-math.sin(phi)*math.sin(theta)*math.sin(psy), math.sin(phi)*math.cos(psy)+math.cos(phi)*math.sin(theta)*math.sin(psy)],\
                    [math.sin(theta), -1*math.sin(phi)*math.cos(theta), math.cos(phi)*math.cos(theta)]], dtype='float32')


srcPts = np.array([[-2064, 1161, 1],\
                  [2064, 1161, 1],\
                  [2064, -1161, 1],\
                  [-2064, -1161, 1]], dtype='float32')

dstPts = np.empty(shape = (4,3), dtype='float32')


dstPts[0][0] = srcPts[0][0] * warp_mat[0][0] + srcPts[0][1] * warp_mat[1][0] + srcPts[0][2] * warp_mat[2][0];
dstPts[0][1] = srcPts[0][0] * warp_mat[0][1] + srcPts[0][1] * warp_mat[1][1] + srcPts[0][2] * warp_mat[2][1];
dstPts[0][2] = srcPts[0][0] * warp_mat[0][2] + srcPts[0][1] * warp_mat[1][2] + srcPts[0][2] * warp_mat[2][2];

dstPts[1][0] = srcPts[1][0] * warp_mat[0][0] + srcPts[1][1] * warp_mat[1][0] + srcPts[1][2] * warp_mat[2][0];
dstPts[1][1] = srcPts[1][0] * warp_mat[0][1] + srcPts[1][1] * warp_mat[1][1] +     srcPts[1][2] * warp_mat[2][1];
dstPts[1][2] = srcPts[1][0] * warp_mat[0][2] + srcPts[1][1] * warp_mat[1][2] + srcPts[1][2] * warp_mat[2][2];

dstPts[2][0] = srcPts[2][0] * warp_mat[0][0] + srcPts[2][1] * warp_mat[1][0] + srcPts[2][2] * warp_mat[2][0];
dstPts[2][1] = srcPts[2][0] * warp_mat[0][1] + srcPts[2][1] * warp_mat[1][1] + srcPts[2][2] * warp_mat[2][1];
dstPts[2][2] = srcPts[2][0] * warp_mat[0][2] + srcPts[2][1] * warp_mat[1][2] + srcPts[2][2] * warp_mat[2][2];

dstPts[3][0] = srcPts[3][0] * warp_mat[0][0] + srcPts[3][1] * warp_mat[1][0] + srcPts[3][2] * warp_mat[2][0];
dstPts[3][1] = srcPts[3][0] * warp_mat[0][1] + srcPts[3][1] * warp_mat[1][1] + srcPts[3][2] * warp_mat[2][1];
dstPts[3][2] = srcPts[3][0] * warp_mat[0][2] + srcPts[3][1] * warp_mat[1][2] + srcPts[3][2] * warp_mat[2][2];


dstPts[0][0] = dstPts[0][0] / dstPts[0][2];
dstPts[0][1] = dstPts[0][1] / dstPts[0][2];
dstPts[0][2] = dstPts[0][2] / dstPts[0][2];

dstPts[1][0] = dstPts[1][0] / dstPts[1][2];
dstPts[1][1] = dstPts[1][1] / dstPts[1][2];
dstPts[1][2] = dstPts[1][2] / dstPts[1][2];

dstPts[2][0] = dstPts[2][0] / dstPts[2][2];
dstPts[2][1] = dstPts[2][1] / dstPts[2][2];
dstPts[2][2] = dstPts[2][2] / dstPts[2][2];

dstPts[3][0] = dstPts[3][0] / dstPts[3][2];
dstPts[3][1] = dstPts[3][1] / dstPts[3][2];
dstPts[3][2] = dstPts[3][2] / dstPts[3][2];



srcPts2 = np.array([[srcPts[0][0],srcPts[0][1]],\
                   [srcPts[1][0],srcPts[1][1]],\
                   [srcPts[2][0],srcPts[2][1]],\
                   [srcPts[3][0],srcPts[3][1]]], dtype='float32')

dstPts2 = np.array([[dstPts[0][0],dstPts[0][1]],\
                   [dstPts[1][0],dstPts[1][1]],\
                   [dstPts[2][0],dstPts[2][1]],\
                   [dstPts[3][0],dstPts[3][1]]], dtype='float32')


transMatrix = cv.getPerspectiveTransform(srcPts2, dstPts2)


dst = cv.warpPerspective(imgFile,transMatrix,(4128,2322) ,borderMode = cv.BORDER_CONSTANT,borderValue = 0)

Answer 1

在代码的开头，您通过投影四个点来计算扭曲矩阵，然后使用getPerspectiveTransform（）来找出变换矩阵。这应该有效，但它比必要的更复杂。如果您知道滚动角，俯仰角和偏航角，则可以直接计算变换矩阵。看看http://image2measure.net/files/calib3Dto2D.cpp中的BirdsEyeView（）函数。它正是如此。
我不得不换线 Mat R = RX * RY * RZ; 到
Mat R = RZ * RX * RY; 为了使转型正确。

f 是以像素为单位的焦距如果 rh 是图像的水平分辨率，哦是相机的水平开启角度
f =（rh / 2）/ tan（oh / 2）
如果您不想缩放图像，请为距离选择相同的值，比 f 更大的图像放大图像，或选择较小的图像缩小图像。

Answer 2

代码BirdsEyeView（）适合我，但我不知道为什么交换Roll和Pitch角度。当我改变＆＃34; alpha＆＃34;时，图像会在音高上扭曲，当我改变＆＃34; beta＆＃34;翘曲的图像。所以，我改变了我的旋转矩阵，如下所示。

此外，RY有信号错误。您可以在以下位置查看Ry：http://en.wikipedia.org/wiki/Rotation_matrix 我认为这就是为什么Adrian将乘法顺序从R = RX * RY * RZ改为R = RZ * RX * RY的原因。

我使用的旋转矩阵：

    Mat RX = (Mat_<double>(4, 4) <<
        1,          0,           0, 0,
        0, cos(beta), -sin(beta), 0,
        0, sin(beta),  cos(beta), 0,
        0,          0,           0, 1);

    Mat RY = (Mat_<double>(4, 4) <<
         cos(alpha), 0,  sin(alpha), 0,
                  0, 1,           0, 0,
        -sin(alpha), 0,  cos(alpha), 0,
                  0, 0,           0, 1);

    Mat RZ = (Mat_<double>(4, 4) <<
        cos(gamma), -sin(gamma), 0, 0,
        sin(gamma),  cos(gamma), 0, 0,
        0,          0,           1, 0,
        0,          0,           0, 1);

此致

使用滚动，俯仰和偏航使图像变形

2 个答案: