ORB SLAM 2 - 适用于Android的AR实施

Question

我使用ORB-SLAM2实现了一个应用程序。目前，我的活动中有一个OpenCV JavaCameraView，并将相机帧转换为Mat并将其发送到SLAM系统。 现在一切正常，但我不知道如何在相机屏幕上正确地渲染和显示虚拟物体。

我想实现一个简单的AR应用程序，它在屏幕上显示一些简单的文本作为虚拟对象。任何有助于我实现这一目标的帮助都将受到欢迎。

Answer 1

你所做的是：

1. 从ORB-SLAM你有一个3D点的点云。您必须根据您希望的位置将虚拟对象放置在此点云中（意味着您将x，y和z坐标指定给虚拟对象的点）。
2. 然后，您必须使用特定于相机的投影矩阵将这些3D点投影到图像平面上，这将为您提供2D图像平面上3D点的位置
3. 然后你必须根据你得到的2D位置在图像上绘制对象/点（2）。

ORB-SLAM本身也具有执行简单AR的功能，也许您还可以查看它们使用的代码。