希望开发一种室内使用的视觉里程表（行走距离）APP

Question

是否有任何开源代码可以在室内拍摄视频（从智能手机，例如家庭或办公楼，走廊），并将其叠加在显示行进路径的2D图片上？这可以是手绘图片或地板布局的照片。

首先，我想过使用加速度计和罗盘传感器来做这件事但是想到也许可以用视觉里程表方法获得更好的准确性。我只需要0.5到1米的精度。手机还将在室内收集重要信息（无gps），以便将数据叠加在行进的路径上（这是该项目的真实应用，我们知道如何做这部分）。视频的后期处理可以在以后的独立计算机上完成，因此速度和CPU功率不是问题。

挑战 - 用户只需携带智能手机，即视频接收者正在移动（行走）而不是固定 限制视频速率以保持文件大小（5帧/秒？是吗？）。通常需要一整小时的视频

使用手机传感器的输入是否有助于视觉方法？

感谢任何帮助或指导，谢谢

Answer 1

我在该地区工作了一段时间。我有三点需要注意。

视力很难

仅使用手机摄像头进行基于视觉的导航非常困难。大多数具有良好结果的文献显示，作为最先进的，通常使用立体相机的距离约为1％。立体声有很大帮助，特别是在室内环境中应对水垢漂移。我已经研究过一种系统，它可以实现立体声的0.5％行进距离，但单眼距离只有大约5％。虽然我无法共享代码，但我们的大部分系统都受到了Sibley and Mei paper的启发。

我们案例中的立体声代码在桌面上以60fps的速度运行。如果您可以足够快地推送数据，那就没问题了。使用错误信封，您只能导航100米左右。那够了吗？

多传感器是可行的方法。虽然其他传感器本身比视觉更差。

我听说安装在脚上的加速度计做了ZUPT（零速度更新）的一些很好的工作，当脚在地面上暂时不动时，为了使漂移归零。这种方法有明显的缺点，需要将设备安装在你的脚上，使得视觉方法在很大程度上无用。

指南针很有意思，但会被办公楼内的大量金属分散注意力。在大型金属柜周围翻几英尺可能会导致50度以上的方向跳跃。

最终，如果你可以做到这一点，传感器的组合可能是最好的。

你能解决一个更简单的问题吗？

您对环境有多少控制权？你能拍下基准标记吗？你能做wifi三角测量吗？它需要进行初步探索吗？如果你可以事先通过环境并产生视觉气泡（类似于谷歌街景）来匹配，你就会更准确。

Answer 2

我不知道任何直接执行此操作的软件（尽管它可能存在）但是已经完成了类似于您想要做的事情。一些指示：

• Google "Vision based robot localization"您提出的问题非常类似于带摄像头的机器人进入新环境时遇到的问题。在这个领域，方法通常是让机器人映射其环境，然后使用该模型供以后参考，但技术类似于您需要的技术。
• Optical flow会粗略地告诉你相机移动的方向，但它不会告诉你速度，因为你没有客观的参考。这是因为你不知道你在视频输入中看到的东西是否距离1厘米，非常小或1英里远，而且非常大。
• 如果您知道拍摄图像的相机的camera matrix，您可以尝试partial 3D scene reconstruction技术来刺激速度。请注意，您可以在没有相机矩阵的情况下执行3D场景（这是您在许多Google搜索结果的标题中看到的“未校准”部分），相机矩阵将允许您添加真实世界的对象大小（以及距离）你的重建。
• 您需要的图像数量/秒取决于相机的速度。越多越好，但我的猜测是，在步行速度下，5 /秒应该足够了。
• 使用额外的传感器会有所帮助。可能机器人本地化文章也谈到这一点。