Question

我使用OpenCV获取捕获帧的鸟眼视图。这是通过在飞机上提供棋盘图案来完成的，这将形成鸟瞰图。

虽然看起来相机已经非常漂亮，但为了确定像素和厘米之间的关系，我需要它是完美的。

在下一阶段，捕获帧正在变形。它给出了预期的结果：

然而，通过执行此转换，棋盘图案外部的数据正在丢失。我需要的是旋转图像而不是扭曲已知的四边形。

问题：如何按摄像机角度旋转图像以使其自上而下？

一些代码用于说明我目前正在做的事情：

Size chessboardSize = new Size(12, 8); // Size of the chessboard

Size captureSize = new Size(1920, 1080); // Size of the captured frames

Size viewSize = new Size((chessboardSize.width / chessboardSize.height) * captureSize.height, captureSize.height); // Size of the view

MatOfPoint2f imageCorners; // Contains the imageCorners obtained in a earlier stage

Mat H; // Homography

找到角落的代码：

Mat grayImage = new Mat();
//Imgproc.resize(source, temp, new Size(source.width(), source.height()));
Imgproc.cvtColor(source, grayImage, Imgproc.COLOR_BGR2GRAY);
Imgproc.threshold(grayImage, grayImage, 0.0, 255.0, Imgproc.THRESH_OTSU);
imageCorners = new MatOfPoint2f();
Imgproc.GaussianBlur(grayImage, grayImage, new Size(5, 5), 5); 
boolean found = Calib3d.findChessboardCorners(grayImage, chessboardSize, imageCorners, Calib3d.CALIB_CB_NORMALIZE_IMAGE + Calib3d.CALIB_CB_ADAPTIVE_THRESH + Calib3d.CALIB_CB_FILTER_QUADS);

if (found) {

    determineHomography();
}

确定单应性的代码：

Point[] data = imageCorners.toArray();

if (data.length < chessboardSize.area()) {
    return;
}

Point[] roi = new Point[] {

    data[0 * (int)chessboardSize.width - 0], // Top left
    data[1 * (int)chessboardSize.width - 1], // Top right
    data[((int)chessboardSize.height - 1) * (int)chessboardSize.width - 0], // Bottom left
    data[((int)chessboardSize.height - 0) * (int)chessboardSize.width - 1], // Bottom right
};

Point[] roo = new Point[] {
    new Point(0, 0),
    new Point(viewSize.width, 0),
    new Point(0, viewSize.height),
    new Point(viewSize.width, viewSize.height)
};

MatOfPoint2f objectPoints = new MatOfPoint2f(), imagePoints = new MatOfPoint2f();

objectPoints.fromArray(roo);
imagePoints.fromArray(roi);

Mat H = Imgproc.getPerspectiveTransform(imagePoints, objectPoints);

最后，被捕获的帧正在变形：

Imgproc.warpPerspective(capture, view, H, viewSize);

Answer 1

[Edit2]更新进度

可能还有更多旋转，所以我会尝试这样做：

预处理图片

您可以应用多个滤镜来消除图像中的噪点和/或标准化照明条件（看起来您的贴图不需要它）。然后简单地将图像二值化以简化进一步的步骤。见相关：
- OpenCV for OCR: How to compute thresholding levels for gray image OCR
检测方角点

并将它们的坐标存储在某些带有拓扑的数组中
```
double pnt[col][row][2];
```
其中(col,row)是棋盘索引，[2]存储（x，y）。您可以使用int，但double/float将避免在安装过程中进行不必要的转换和舍入...

通过扫描像这样的对角相邻像素，可以检测到角（除非偏斜/旋转接近45度）：

一个对角线应为一种颜色，另一种对角线应为不同颜色。这种模式将检测交叉点周围的点群，因此找到接近这些点并计算它们的平均值。

如果扫描整个图像，上部for循环轴也会对点列表进行排序，因此无需进一步排序。平均排序/订购点到网格拓扑（例如，通过2个最近点之间的方向）
<强>拓扑

为了使其稳健，我使用旋转和偏斜的图像，因此拓扑检测有点棘手。经过一段时间的详细阐述后，我来到这里：
1. 在图像中间附近找到点p0
  
  这应该确保那个点有邻居。
2. 找到距其最近的点p
  
  但忽略对角线点（|x/y| -> 1 +/-方块比例）。从这一点开始计算第一个基础向量，现在将其称为u。
3. 找到距其最近的点p
  
  与＃2 的方式相同，但这次也忽略了+/- u方向上的点（|(u.v)|/(|u|.|v|) -> 1 +/-倾斜/旋转）。从这一点开始计算第二个基础向量，现在将其称为v。
4. 规范化你，v
  
  我选择了u向量指向+x和v到+y方向。因此，|x|值较大的基础向量应为u，较大的|y|应为v。因此，如果需要，测试和交换。然后只是否定错误的标志。现在我们有屏幕中间的基础向量（它们可能会更远）。
5. 计算拓扑
  
  将p0点设为(u=0,v=0)作为起点。现在遍历所有尚未匹配的点p。对于邻居的每个计算预测位置，通过从其位置添加/减去基础向量。然后找到距此位置最近的点，如果找到它应该是邻居，则将其(u,v)坐标设置为原始点+/-1的{{1}}。现在更新这些点的基础向量并循环整个过程，直到找不到新的匹配项。结果应该是大多数点应该计算出我们需要的p坐标。
6. 适合角点的多项式
  
  例如：
```
(0,0)
```
  其中pnt[i][j][0]=fx(i,j) pnt[i][j][1]=fy(i,j)是多项式函数。您可以尝试任何拟合过程。我尝试使用approximation search的三次多项式拟合，但结果不如原始双三次插值（可能是因为测试图像的非均匀失真），所以我切换到双三次插值而不是拟合。这更简单，但使计算逆变得非常困难，但可以以速度为代价避免计算。如果你需要计算反向，请参阅
  - Reverse complex 2D lookup table
  我正在使用这样的简单插值方法：
```
fx,fy
```
  其中d1=0.5*(pp[2]-pp[0]); d2=0.5*(pp[3]-pp[1]); a0=pp[1]; a1=d1; a2=(3.0*(pp[2]-pp[1]))-(2.0*d1)-d2; a3=d1+d2+(2.0*(-pp[2]+pp[1])); } coordinate = a0+(a1*t)+(a2*t*t)+(a3*t*t*t);是4个随后的已知控制点（我们的网格交叉点），pp[0..3]是计算多项式系数，a0..a3是曲线上的点，参数为coordinate。这可以扩展到任意数量的维度。
  
  此曲线的属性很简单，它是连续的，从t开始，到pp[1]时pp[2]结束。通过所有三次曲线共有的序列确保与相邻段的连续性。
7. 重新映射像素
  
  只需使用t=<0.0,1.0>作为浮动值，步长约为像素大小的75％，以避免间隙。然后，只需循环遍历所有位置i,j计算(i,j)，并将像素从(x,y)的源图像复制到(x,y)，其中(i*sz,j*sz)+/-offset需要网格大小（以像素为单位）。

OpenCV Birdseye视图，不会丢失数据

1 个答案: