ARKit3如何将TrueDepth相机用于其他人的面部跟踪和面部网格?

时间:2019-08-15 16:54:03

标签: ios camera augmented-reality arkit reality-composer

根据WWDC '19,我对与ARKit 3和几个iPad一起创建多用户(协作)体验感兴趣,因为对协作AR的支持似乎有所改善。

Apple谈论了很多有关面部跟踪和动作捕捉的问题,但是听起来这仅在前置摄像头(面对手持设备的人)上受支持。无法对共享的朋友进行面部跟踪经历?在WWDC演示视频中,看起来好像是从用户视图中的某个人生成了动作捕捉角色,而Minecraft演示则显示了用户视图中的人与AR中的Minecraft内容混合在一起。这表明后置摄像头正在处理此问题。但是,我认为AR的目的是将虚拟对象附着在您面前的物理世界中。 Reality Composer的示例带有面部跟踪功能,并带有跟随面部的报价气泡,但是由于我没有配备深度摄像头的设备,因此我不知道该示例是否旨在让报价气泡跟随您,用户或相机视图中的其他人。

简而言之,对于共享AR环境中的其他人,我可以使用脸部追踪,人物遮挡和身体追踪进行哪些操作,我有些困惑。使用哪个相机?我可以将哪些功能应用到其他人而不是我自己(自拍风格)?

最后,假设我可以在我看来对其他人进行面部和身体跟踪,并且可以对其他人进行遮挡,那么有人可以将我定向到一些示例代码吗?我还想使用场景中的深度信息(同样,如果可能的话),但这可能需要一些完全不同的API。

由于我还没有配备TrueDepth摄像头的设备,因此我无法使用此处的示例项目来真正测试自己:https://developer.apple.com/documentation/arkit/tracking_and_visualizing_faces 我试图根据人们的回答来确定是否可以在购买必要的硬件之前首先创建自己想要的系统。

1 个答案:

答案 0 :(得分:0)

ARKit 3提供了同时使用前置和后置摄像头的功能。

面部跟踪使用前置摄像头,并且需要配备TrueDepth摄像头的设备。 ARKit 3现在可以使用前置摄像头跟踪多达三个面部。面部跟踪可让您捕获详细的面部动作。

使用后置摄像头执行身体跟踪和运动捕捉。这样一来,就可以检测到人体并将其映射到您的应用可以用来捕获位置数据的虚拟骨架上。

例如,您可以使用后置摄像头捕获某人的身体动作,并使用前置摄像头捕获该动作的人的面部表情,并将其组合到一个ARKit场景中。