面部特征检测和跟踪

Question

我想在2D视频中检测并跟踪嘴唇和眼角

我使用OpenCV Viola-Jones面部和特征点探测器完成了正面姿势，中性表情和良好光照条件下的面部特征检测。

我将CascadeClassifier::detectMultiScale与haarcascade_frontalface_alt，haarcascade_eye，haarcascade_mcs_mouth xml文件一起使用。它可以很好地工作15度旋转和中性表达。

但是现在，我只想知道在以下情况下是否可以检测到脸部特征（眼睛，嘴巴如图像）？

• 头部旋转高达45度

• 表达 - 说话，笑，笑，......

  

OpenCV不是必须的，任何库或实现都可以。 首先，我也可以使用任何参考文件。 无法使用3D范围相机和其他3D相机传感器。

Answer 1

您已在此处发布了一个问题：Facial Feature Points Detection using OpenCV。而且我很想把它称为你自己问题的副本。

这已经使用流行的flandmark工具回答了您的问题。这个问题的唯一区别是你已经问过更大程度的姿势变化，即高达45度。如果您阅读带有flandmark的相关paper，他们会评估当前最先进的评估数据集之一Labeled Faces in the Wild (LFW)，其中已涵盖中等范围的姿势变化。

如果你愿意牺牲速度来提高异形脸的准确度，那么2012年的另一项工作就是在图像集上评估更密集的标志性算法，我认为这种图像集的姿势变化比LFW更多。该作品的项目网页为here。

我还建议您将来引用自己的问题，如果它们彼此相似，并清楚地描述了与您的问题不同且独特的问题。