YUV / PCM Visualizer测量唇形同步

Question

我有一个来自编码器的原始视频和原始音频的两个转储文件，我希望能够测量“唇形同步”。想象一下锤子击中铁砧的视频。我想逐帧前进，看到当锤子最终击中铁砧时，音轨上的振幅会出现尖峰。

由于所有事情发生的速度，我不能只听音频，我需要在时域中看到波形。

是否有任何工具可以让我看到视频和音频？

Answer 1

如果您担心验证解码器，那么通常从验证角度来看，目标是根据公共实时时钟检查音频和视频PTS值。

原始YUV和PCM文件不包含时间戳。 如果你知道帧速率和采样率你可以使用原始yuv文件查看器（我自己编写）来计算视频中给定帧的时间（从文件开始）和Audacity这样的工具可以找出文件开始到音频文件中音色开始的时间。这仍然可能无法告诉你整个故事，因为工具通常在ts / ps文件中嵌入音频和视频之间的延迟。或者你可以连接ab OScope并上学。