适用于iOS的增强现实和快速前置摄像头应用程序

Question

我正在开发一个应用程序，该应用程序需要使用iPhone的前置摄像头才能通过swift获得增强现实体验。我曾尝试使用ARKit，但ARKit制作的前置摄像头仅支持iPhone X。

那么，我可以快速使用哪些框架或库来开发具有AR体验的应用程序，尤其是ARKit以外的前置摄像头？

Answer 1

TrueDepth前置摄像头为您提供15 fps帧速率的深度通道，而Image前置摄像头为您提供60 fps帧速率的RGB通道。

工作原理：它类似于MS Xbox Kinect中的深度感应系统，但功能更强大。红外线发射器以已知模式将超过30,000个点投射到用户的面部。这些点然后由专用的红外相机拍摄以进行分析。大概有一个接近传感器，以便系统知道用户何时足够靠近以进行激活。环境光传感器可帮助系统设置输出光强度。

目前只有iPhone X具有TrueDepth相机。如果您的iPhone中没有TrueDepth Camera和Sensor System（就像iPhone 6s，iPhone 7和iPhone 8没有一样），则您无法将小工具用于{{1} }，Animoji或Face ID。

在ARKit框架中，使用TrueDepth摄像机跟踪用户面部运动和表情的配置使用特殊的类Depth Occlusion Effects。

  

因此，答案是否定的，您只能将前置摄像头用于iPhone X或带有ARFaceTrackingConfiguration及其TrueDepth Camera的更高版本的iPhone。< / p>

Answer 2

ARKit并不是在iOS上创建“ AR”体验的唯一方法，也不是Apple允许在App Store中创建“ AR”的唯一方法。

如果您将“前置摄像头AR”定义为“使用前置摄像头，检测面部，允许放置看起来像一直附着在面部的虚拟2D / 3D内容叠加图”之类的东西，则可以使用多种技术可以用。自从ARKit出现之前，像Snapchat之类的应用就一直在使用这种“ AR”技术，它们使用的是内部开发的技术或第三方许可的技术。您的操作方式和效果如何取决于您使用的技术。 ARKit通过使用前置深度摄像头来保证结果的一定精度。

完全有可能开发出一个使用ARKit在TrueDepth设备上进行人脸跟踪并在其他设备上使用其他技术的应用程序。例如，仅查看可以使用Apple的SDK进行“即开即用”的操作，可以使用Vision框架，该框架可以在2D模式下定位和跟踪面部。可能也有一些第三方图书馆...或者您可以浏览学术期刊，因为人脸检测/跟踪是计算机视觉研究的活跃领域。