第i个摄像机图像（KITTI数据集）中的3D激光雷达点投影

Question

我正在研究对象分类问题，并且正在使用Kitti数据集中的激光雷达和相机数据。 在本文http://ww.cvlibs.net/publications/Geiger2013IJRR.pdf中，他们提供了将3d PointCloud投影到第i个摄像机图像平面的公式，但是我不了解某些事情：

以下方程式（（3）：

如果3D点X在Velodyne摄像机图像中，Y在第i个摄像机图像中，为什么X具有四个坐标而Y具有三个坐标？应该是3和2，不是吗？

我需要将3D点云投影到相机图像平面中，然后创建激光雷达图像以将其用作CNN的通道。任何有想法的人吗？

提前谢谢

Answer 1

对于第一个关于x和y维的查询，有两个解释。

原因1。

• 用于图像重新投影的针孔照相机型号 透视坐标或同构坐标。透视 投影使用图像原点作为投影的中心和点 被映射到平面z = 1。表示了3D点 [x y z] 由 [xw yw zw w] 表示，它在平面上所映射的点 由 [xw yw zw]。用w归一化。

  所以（x，y）-> [x y 1] ^T ：同质图像坐标

  和（x，y，z）-> [x y z 1] ^T ：同类场景坐标

原因2。

• 关于您随附的论文，请考虑以下公式    （4）和（5）

  

  

  很明显，P的尺寸为3X4，R扩展为4x4尺寸.x也为1x4尺寸。因此，按照矩阵乘法规则，第一个矩阵的列数必须等于第二个矩阵的行数。因此，对于给定的3x4 P和R 4x4，x必须为1x4。

现在是您的第二个LiDAR图像融合问题，它需要内在和外在参数（相对旋转和平移）和相机矩阵。这种旋转和平移形成称为转换矩阵的3x4矩阵。所以点融合方程变成

[x y 1]^T = Transformation Matrix * Camera Matrix * [X Y Z 1]^T

您也可以参考:: Lidar Image Fusion KITTI

一旦完成LiDAR图像融合，就可以将该图像输入到CNN模型中。我不知道用于LiDAR融合图像的DNN模块。

希望这会有所帮助。