面部跟踪和检测

Question

我在Unity3D工作，我想创建一个类似this的应用程序。要做到这一点，我需要一个漂亮和流畅的sdk /库/无论什么，这使我能够跟踪所有面部标志（眼睛，鼻子，嘴巴）的面部位置，并检测地标位置的变化。

到目前为止，我已经尝试了OpenCV插件，但它似乎并不太精确。例如。当我运行演示场景时，它会跟踪脸部，但是脸部椭圆形尺寸会非常轻松快速地变形，以及地标位置，即使从一开始就会扭曲。

我也尝试了XZIMG插件，但它根本不跟踪地标。 如果我做错了，请纠正我。

我正在寻找一个合适的工具，可以在Android和iOS设备上给我所需的结果。我一直在研究谷歌移动视觉，但到目前为止，我不太确定它可以很容易地与Unity集成并用于iOS项目。

Answer 1

图像处理是一个高级主题。在使用它之前，了解您使用的库是如何工作的很好。

谈到跟踪缓慢，这是正常的，因为它是CPU密集型并且在移动设备上运行它是另一个问题。

要修复缓慢的问题，

1 。您拍摄的图片发送到服务器（到计算机而不是移动设备）。服务器将全部 处理并返回结果返回移动设备。

2 。尝试Vuforia。它不是免费的，但它适用于Unity。

3 .Go 原生并放弃使用Unity。你需要更多的帧，使用Unity将带走一些帧。对于Android，请使用 C ++ NDK 和 OpenCV C ++ 。对于iOS，使用Objective-C和OpenCV。图像处理是建议使用本机代码以尽可能获得最高帧速率的情况之一。

Answer 2

您可能要查看的另一个工具是Banuba的Face Tracking Plugin for Unity。该工具支持对人的眼睛，嘴巴，微笑，眉毛和脸部其他部位的脸部追踪。除此之外，它还可以增强具有不同AR效果的面部，例如面部滤镜，AR蒙版，AR镜头和生活表情。