可以从NIR图像轻松提取的最佳面部标志？

Question

我正在使用红外热像仪进行Eye Gaze估计。到目前为止，我已经检测到两个学生中心点如下：

1. 使用Haar Face级联＆amp; amp;检测面部将ROI设置为Face。
2. 使用Haar Eye级联检测眼睛＆amp;将其命名为Left＆amp;右眼分别。
3. 通过对眼睛区域进行阈值处理来检测瞳孔中心。找到了瞳孔中心。

到目前为止，我试图通过使用Haar Eye Boundary区域找到凝视方向。但这个Haar Eye rect并不总是显示Eye Corner点。结果很差。

然后我尝试使用GFTT，Harriscorners＆amp; amp;快，但由于我使用NIR相机，眼角点不清晰可见＆amp;所以我无法得到确切的角落位置。所以我被困在这里！

还可以从脸部轻松追踪哪些最佳功能？我听说过Flandmark，但我认为这也不适用于红外捕获的图像。

是否可以从面部图像轻松提取任何功能？这里我附加了我的示例输出图像。

Answer 1

我建议flandmark，即使你的直觉是相反的 - 我在我的硕士论文中使用过它（这是关于头部姿势估计，一个相关的主题）。如果问题是它是否适用于您提供的示例图像，我认为它可能会正确检测到功能 - 即使在灰度图像上也是如此。我认为在flandmark中他们可能在应用探测器之前将图像转换为灰度（如haar探测器的工作原理）。此外，令人惊讶的是它与低分辨率图像一起工作也是一个优点（特别是当你说眼角不清晰时）。并且flandmark可以检测到眼角，嘴角和鼻尖（实际上我不会依赖最后一个，根据我在单个图像上检测鼻尖的经验非常嘈杂，但是对于具有一些过滤的图像序列工作正常，例如平均值，卡尔曼）。如果您决定使用该技术并且它有效，请告诉我们！