将VideoOverlayScreen与网状相机对齐

Question

如何将视频覆盖正确放置在网格摄影机的背面，以便生成的网格与视频中的视频相匹配？

（使用Unity 5.2.1f3）

Answer 1

我认为需要两个重要的部分才能确保视频叠加层与网格对齐：

1. 渲染相机的投影矩阵

您必须确保渲染摄像机的投影矩阵与物理摄像机的投影矩阵相匹配。这需要基于Tango彩色相机内在函数值计算的自定义投影矩阵。 Here是一段示例代码（引自tango unity示例）。匹配投影矩阵后，您看到的图像将与网格对齐。

1. 时间戳同步。

为了更精确地渲染，您可能希望在点云，彩色相机和姿势之间进行同步。为此，您需要根据彩色相机的更新时间戳查询姿势。每次收到点云时，都需要将点转换为彩色相机帧，因为点云是在不同的时间戳中接收的。然后使用变换后的点云进行网格重建。把它放在矩阵方程中：

P_color = inverse(ss_T_color) * ss_T_depth* P_depth