全新iPhone X前置摄像头深度和人脸跟踪网格API

Question

刚刚观看了新的iPhone X宣布，前置摄像头的感应和跟踪技术对开发者开放了吗？在舞台上演示了一个Snapchat面具，不确定它是否使用了ARKit

Answer 1

是的，它对开发者开放。

如果您现在查看ARKit docs page，您会发现它已分为“世界追踪”和“脸部追踪”部分（以及两者共有的一些位）。世界追踪是在WWDC上宣布的 - 寻找＆＃34;通过＆＃34;您的设备带有后置摄像头，位于您周围世界的AR内容中。

脸部追踪AR特定于iPhone X和TrueDepth相机。正如您在这些文档中看到的那样，它使用ARFaceTrackingConfiguration而不是其他配置类。它通过ARFaceAnchor对象实时提供有关面部的信息。

在面部主播文档中，看起来有两种获取面部信息的方法。 geometry为您提供了一个可以显示的3D网格，或者用于将纹理映射到面部 - 这可能是Snapchat演示在主题演示中用于制作摔跤面具的内容。 blendShapes为你提供了一系列动画参数，比如颌部打开的距离以及左眼的眯眼程度（以及其他约50种更微妙的东西）...他们谈论使用它来制作木偶动画或化身，这可能是Animoji的工作方式。

Apple还发布了a sample code project showing how to do all of these，因此您可以查看代码以了解如何自行完成。 （即使你不能在没有iPhone X的情况下运行代码。）

Answer 2

以下是在iPhone X上使用TrueDepth相机的示例：https://developer.apple.com/documentation/arkit/creating_face_based_ar_experiences

一个全新的会话：Face Tracking with ARKit #601

  

创建基于脸部的AR体验

     

使用iPhone X上的TrueDepth相机，在用户脸部后面放置3D动画并为其添加动画并匹配面部表情。

     

此示例应用程序提供了一个简单的界面，允许您在具有TrueDepth前置摄像头的设备上选择四种增强现实（AR）可视化（请参阅iOS设备兼容性参考）。

     

  
• 单独的摄像机视图，没有任何AR内容。
  
• ARKit提供的面部网格，可自动估算真实的定向照明环境。
  
• 虚拟3D内容似乎附加到用户真实面部（并被其部分遮挡）。
  
• 一个简单的机器人角色，其面部表情被动画化以匹配用户的角色。
  

==＆GT;检查标题为＆＃34; 将3D内容放置在用户脸上＆＃34;对于你的第二个用例。