我从激光雷达获得深度和反射率贴图（2D图像），并且我也有相机图像（2D图像）。图片大小相同。
我想使用CNN来使用两个图像执行对象检测。这是一种“融合CNN”
我应该怎么做？我是否应该使用预训练模型？但是，这不是使用激光雷达图像的训练前模型。
哪个是最好的CNN算法？即执行用于对象检测的模态融合
提前谢谢
答案 0 :(得分：0)
我应该使用训练前模型吗？
是的，除非您非常有信心自己可以直接找到可行的模型，否则应该这样做。
但是没有使用激光雷达图像的预训练模型
首先我很确定有基于LIDAR的网络。例如
L Caltagirone，LIDAR-Camera Fusion完全用于道路检测 卷积... arxiv，2018
第二，即使没有直接基于LIDAR的开源实现，也可以始终将LIDAR转换为深度图像。对于基于深度图像的CNN，有数百种用于分割和检测的实现。
我应该怎么做？
首先，您可以将它们并排平行放置，以获得RGB和depth / LIDAR 3d pointcloud。分别喂它们
第二，您还可以通过将输入合并到4D张量并将初始权重转移到单个模型来组合它们。最后，在给定的数据集中执行转移学习。
最佳CNN算法？
完全取决于您的任务和硬件。您需要最佳的处理速度还是最佳的准确性？请定义您的“最佳”。
也可以将其用于自动驾驶汽车或内部护理系统吗？不同的CNN系统可根据不同目的自定义权重。
通常，对于使用便宜的PC（例如DJI集成块）进行实时多对象检测，我建议使用Yolo-tiny