通过AR应用（WebXR）检测房间中的真实对象

Question

让我们想象一个真正的绘画画廊，访客可以在其附近使用他们的电话浏览器以（通过AR）查看有关该绘画的一些信息。

如何使用WebXR做到这一点？可能很难对每幅画的GPS位置进行硬编码，尤其是在室内，这种编码不够准确。最好的解决方案是，每幅画都打印并粘贴OpenCV arUco标记并通过WebXR应用程序检测它们吗？如果您距离标记的距离超过1m，它们似乎无法正常工作。

Answer 1

这听起来像是一个有趣的应用程序。计算机视觉技术通常非常擅长对对象进行分类（经过适当的训练），但在检测和区分类别中的各个成员方面却有些欠缺（这就是您的建议-从一组所有类别中的绘画。

最简单的解决方案是使用arUco之类的东西-这是一个完美的用例。

如果您想要更一般的东西，则需要构建一个训练集（如果所涉及的绘画尚未出名/文献充分，则非常困难），并为在手机等边缘设备上部署模型进行训练。这很容易达到上述工作的10到100倍（并且您可能会得到更差的结果），因此，除非您试图展示计算机视觉的前沿技术并拥有计算机视觉专家，否则我不会走这条路

编辑：

我看到您的最新问题解释了标记不能很好地工作。虽然我还不知道您对此有多深入，但是如果它不能很好地发挥作用，也不要气disc。计算机视觉是需要大量修改参数的事情之一，当您对参数调整进行小的更改会极大地影响性能时，它通常看起来像是不可思议的事情。我希望有更多我可以分享的东西，但是当涉及到计算机视觉时，没有任何通用技巧可以一直为您带来出色的结果。

Answer 2

WebXR AR模块的初始版本不向应用程序提供相机图像，但计划将其作为后续措施。有关更多信息，请参见https://github.com/immersive-web/computer-vision中的社区组提案。

为进行比较，ARCore支持image recognition，这将是WebXR有用的附加功能，既可以作为计算机视觉建议的一部分，也可以作为单独的功能。