将脸从非前方旋转到前方opencv

Question

我已经挣扎了一个星期，我遇到的问题是我无法像这样的image中的左脸那样从非正面旋转脸部，就像在同一张图像中的右脸一样。

1）。我在learnopencv网站上使用关于delaunay的教程来获得左脸的所有三角形（大约138个三角形），如下所示：

...

triangle num 4: [100, 383] | [120, 374] | [112, 385]

triangle num 5: [120, 374] | [100, 383] | [92, 345]

triangle num 6: [136, 396] | [137, 379] | [151, 394]

triangle num 7: [137, 379] | [136, 396] | [118, 395]

triangle num 8: [92, 345] | [86, 414] | [80, 451]

triangle num 9: [86, 414] | [92, 345] | [100, 383]

triangle num 10: [86, 414] | [100, 383] | [118, 395]

triangle num 11: [116, 336] | [120, 374] | [92, 345]

triangle num 12: [120, 374] | [116, 336] | [133, 344]

...

2）。和这个库：https://github.com/chili-epfl/attention-tracker（可以估计头部姿势）得到左脸头部姿势的4x4矩阵变换，这个矩阵似乎是opencv中函数Rodrigues的结果。

 0.659585  -0.749291 -0.0592507  0.0591621 

-0.0327269 -0.107385 0.993679    -0.00523744 

-0.750917  -0.653477 -0.0953513  -0.280204 

 0         0         0           1 

所以我不知道下一步是使用步骤2中的4x4矩阵旋转步骤1中的所有三角形以获得右脸的结果。 请帮助！

Answer 1

如何将脸部从非正面视图投射到正面视图是一个复杂的问题，即使您已经投射了脸部的地标位置。 我建议使用之前使用过的两个开源库。

第一个由麻省理工学院提供。这段代码不仅面向正面化程序，而且可以用于任何对象。 https://bitbucket.org/gbhuang/congealreal

第二个库链接位于仅为面部投影提供的链接下方。

https://github.com/eranid/adience_align

我认为第二个库是最有用的。