将RGB图像与点云匹配

Question

我有一个RGB图像和一个由LIDAR获取的点云。 在RGB图像中，我检测到一个特征，比如说一个圆圈。 我想将此圆用作3d点云中的ROI。 我怎样才能做到这一点？我当时想通过相机参数从RGB图像生成3d点云，然后将2与icp算法匹配。   问题是，当我从2D图像生成点云时，我的坐标系发生了变化，因此我不再知道圆的位置。 要执行3d重建，我使用triangulateMultiview函数

Answer 1

我当时想通过相机参数从RGB图像生成3d点云，然后将2与icp算法匹配。 ->这行不通，效率不高。

实际上，有更好的方法。假设您知道相机和激光雷达之间的外部关系，则可以使用相机固有的图像将图像上的任何圆（或椭圆）扩展为3d圆锥，并通过选择圆锥中的点可以进行ROI操作。

假设您可以通过检测并找到椭圆方程的参数来在图像平面上定义椭圆。椭圆方程可以扩展为表示3D圆锥的二次方程（圆锥）。现在剩下的唯一事情就是通过放置圆锥方程来测试3d点是否在圆锥内。

如果您对相机模型或二次方程式不满意，这是一个数学上有点复杂的问题。