从剪影面对偏航角估计

Question

我试图通过使用分割信息估计面部的姿势 - 仅偏航角。简而言之，脸部图像被分割成“头发”，“皮肤”和“背景”像素。这些的基础是可用的。面部大致居中。给出here的一个例子。  

尝试在训练集500图像上具有从分割图像到偏航角等级（最左边= 1到最右边= 500，例如）的回归。

我基本上想在这里提出一些想法并得到一些反馈。 （希望这不会被关闭为“非建设性的”）。

• 可以通过图像左侧部分的头发和皮肤像素的多少来看到偏航角的准备估计 - 关于图像中心轴的某种形式的力矩。这个paper报道了这种事情。但是实现它（基本上是使用皮肤像素和头发像素关于图像中心垂直线的瞬间的二次回归方案）会产生非常嘈杂的结果

• 我使用卷积神经网络架构来训练用左姿势和右姿势图像训练的2类问题（面部/非面部分类）。分类相当不错〜准确度达到70％，只有250次训练和250次测试样本。然而，回归到平滑变化的姿势值再次产生相当嘈杂的结果

  斗智斗勇。考虑实现某种8方向链码的直方图，类似于HOG但是对于分割图像....或者可能使用傅里叶描述符对边界进行编码并训练神经网络以学习分割与之间的非线性关系姿势。

  我可以就此问题获得一些反馈/意见吗？这是我正在进行的一项独立研究（有足够的常用字段 - OCR和文本检测）。

Answer 1

好吧，我可以告诉你为什么关于中心线的时刻永远不会有效：看{4}}图片，或this图片，你明白为什么你引用的论文中的所有例子都是人短发或对称发型，以及为什么它的标题以“向往”开头。

但是，严肃地说，这是某种教科书或求职面试的问题吗？就像在“让我们看看我们拥有多少好信息并且可以随意丢弃，并且仍然通过投掷计算能力的o？来提出某种半生不熟的准答案？”。 如果这是一个真实世界的应用程序，我建议你仔细看看你可用的图像，并弄清楚你可以从中获取哪些与脸部姿势相关的功能。