人脸动画与语音同步

Question

我正在开发一个交互式口语对话系统，用户可以对系统说些什么，系统会根据语音回答他的声音并生成面部表情。 但是，我不知道如何生成面部表情。 有人会告诉我，我怎么能开始，或者如果已经存在任何开源软件包那么它会非常好。 如果有人知道任何与此相关的开源软件，请告诉我。

Answer 1

此项目与其他系统一起包含您需要的内容：

http://osdn.jp/projects/galatea

引用：

  

“Galatea”是一个提供开源免许可证的项目   用于构建拟人口语对话代理的软件工具包。   换句话说，使用此工具包，您可以构建自己的唯一工具包   生活般的视觉代理，可以通过口语与您沟通   语言

Answer 2

您可以使用开源HapFacs1.0 API，它提供基于FACS的全面API，可根据操作单元生成不同的面部表情。 HapFacs API目前在Windows平台上可用。 HapFacs是基于Haptek软件开发的。它还提供内置的唇形同步功能，并与大多数文本到语音引擎兼容。 HapFacs1.0最初是用C＃编写的，但您可以通过在大多数开发平台上引用其.dll文件来使用API​​。通过组合不同的动作单元，您可以生成不同强度的面部表情。通过使用EMFACS配置，您可以生成具有不同强度的7种通用面部表情。

Answer 3

您可以制作面部视频来制作面部表情吗？就个人而言，我想我会从那开始。

Answer 4

你是否真的需要面部表情，或者像你在旧的（非3D）动画片中看到的那样张开嘴和闭合？如果是这样，您可以尝试使用envelope detector将嘴匹配到语音幅度包络。