根据mp3 / wav自动嘴唇同步

Question

我想在我的网络应用中创建动画头像。似乎CSS3过渡，动画和背景功能以及javascript web API的一点帮助就是我所需要的。使用xface看起来对我来说太过分了，cartoon solutions几乎就是我所需要的。我需要把它变成卡通。

我已经制作了some progress（能够创建语音控制的网络应用），但这次我需要mp3 / wav输入，而不是通过x-webkit-speech使用谷歌服务器从麦克风直接发送声音。< / p>

我正在考虑这种方法：

1. 将语音记录到mp3或wav中并将其写入字符串内容
2. 在浏览器中播放mp3并使用AnalyserNode检测单词结尾以同步字符串中的位置（我使用捷克语，与英语不同，语音速度几乎保持不变）。
3. 根据实际用语
显示卡通头（参见上面的链接）

问题： 是否有更低的努力（编码器和设计师的开发时间缩短）？特别是第2步和未来的英语让我担心。也许一些卡拉OK工具可以产生一些语音同步文件（我可以解析为CSS3关键帧）？我不知道有任何这样的工具。

Answer 1

对于更多涉及的内容，您可以尝试：

步骤1. Web语音API将文本转换为语音...

http://updates.html5rocks.com/2013/01/Voice-Driven-Web-Apps-Introduction-to-the-Web-Speech-API

步骤2尝试将“papagayo”移植到js（使用字典将单词与音素联系起来，我认为是嘴巴姿势）

http://anime.smithmicro.com/papagayo.html

GNU源代码可在此处获得： http://anime.smithmicro.com/update_files/papagayo/papagayo_1.2_source.zip

您可能还会参考： http://www.adobe.com/devnet/flash/articles/lip-sync-smartmouth.html 了解您正在努力实现的目标

Answer 2

也许你可以通过频谱分析做一些非常快速和肮脏的事情： http://0xfe.muthanna.com/wavebox/