检测某人是否在视频中发言

Question

我正在试图弄清楚如何检测我在视频中识别的人是否正在说话。我正在使用一些发布here的多人多镜头跟踪代码来检测个人，我想确定某个人是否在任何特定时间发言。有人知道可能能够做到这一点的好的CV项目吗？我对动作识别文献进行了一些搜索，但没有找到任何似乎直接解决这个问题的内容。只需要使用视频即可检测说话。

Answer 1

在开源库中有implementation面部姿势估计。

从这个图中可以看出：嘴唇周围有线条。通过挖掘示例的源代码，你可以在自己的环境中尝试这个例子来跟踪嘴唇的运动，你会看到覆盖嘴唇的线条也在移动，这取决于关于嘴唇的运动。