ARKit检测房屋外部平面

Question

我知道ARKit能够检测和分类A12 +处理器上的平面。它可以很好地完成房屋内部的工作，但是外面如何？如果我在房屋中四处走动，是否可以检测到门窗？我自己尝试过，结果令我不满意：我在建筑物中四处走动，但ARKit仍无法将墙与窗户区分开。

我从这里使用应用程序进行测试：https://developer.apple.com/documentation/arkit/tracking_and_visualizing_planes 我所做的一切都正确吗？也许有一些第三方图书馆可以更好地检测房屋部分？

谢谢！

Answer 1

当您在外部测试示例应用程序并尝试使用ARKit来检测房屋外部的表面时，它将无法工作。 ARKit用于绘制平面及其方向（水平/垂直）的贴图。这意味着ARKit可以理解表面是平坦的，可以是墙壁或地板。当您尝试“映射”房屋的外部时，ARKit只会将水平表面检测为墙壁，无法区分墙壁和窗户。

您将需要开发/提供一个AI模型，并使用CoreML对相机数据进行运行，以使您的应用能够区分房屋外部的窗户和墙壁。

ARKit Plane跟踪文档以供参考：https://developer.apple.com/documentation/arkit/tracking_and_visualizing_planes

有关带有CoreML的ARKit的几篇文章
https://www.rightpoint.com/rplabs/dev/arkit-and-coreml https://medium.com/s23nyc-tech/using-machine-learning-and-coreml-to-control-arkit-24241c894e3b

[更新]
是的，您是正确的，对于Apple允许用于A12 +设备的飞机进行分类。我认为外部窗户与内部窗户的问题是距窗户的距离（对于CV的分类太远了），或者Apple已针对内部窗户与外部窗户进行了更多调整。这种差异看似微不足道，但对于CV算法而言，则是完全不同的。