三维人脸重建算法

Question

项目：3D人脸重建

输入：2D正面图像输出：3D面重建和表达模拟平台：Matlab或Opencv cpp。

我在研究后发现3D Morphable Models（3DMM）算法是我项目的一个很好的起点。但我没有巴塞尔人脸模型（3D人脸数据库）来实现算法。但是，我从http://gavab.escet.urjc.es/recursos_en.html下载了GavabDB。我可以使用GavabDB从正面图像进行3D面部重建来开发3DMM吗？在阅读了数据集描述文档之后，我观察到Gavab没有提供3D扫描的纹理数据;纹理数据是强制性的吗？

输出质量是否取决于用于建模的3D数据库？

Answer 1

original morphable model以及来自同一主要研究人员的巴塞尔人脸模型确实包含纹理和几何。

完全可以从没有纹理的3D几何数据计算可变形模型的几何部分。这为您提供了一个模型，可以捕获形状中统计上最重要的变化。

然而，将纯几何模型与2D面部图像匹配比将模型与纹理匹配更困难。它基本上要求你......

1. 识别（或注释）2D人脸图像中某些地标点的位置
2. 优化3D姿势和形状参数，在使用未知相机进行投影后，将3D Morphable模型中的各个地标接近您带注释的地标。

这是一个有趣的问题，但不是一个微不足道的问题。对于第2步，我建议首先假设正投影。

关于输出质量问题：如果数据库中有足够多的3D模型，则单个扫描的质量不一定非常高。噪声不会显示在您实际使用的模型的主要组件中。然而，扫描中的孔是一个问题。

最后但同样重要的是，让我无耻地指出你几年前写的paper。它不能解决您的问题，但它包含一个关于将3D可变形模型（仅几何）拟合到从照片中提取的2D面部轮廓的部分。