是否有关于检测乐器是否演奏正确音符的论文或模型？

Question

我想创建一个可以检测乐器是否演奏正确音符的模型。

示例：提供mp3文件，并且音乐家正在弹钢琴。如何根据mp3文件检查音乐家演奏正确的音符。

我搜索了GG，但未找到任何相关内容。

Answer 1

您可能不知道，您不能直接比较原始音频文件。让我们将问题分解为可能可以解决的子问题。

• 将音频解码为未压缩的PCM。
• 将PCM音频处理为标准格式，该标准格式由MIDI等一系列“音符”组成。
• 以某种方式比对序列，也许使用类似Dynamic Time Warping的序列，这将允许您在运行算法时测量插入/缺失。
• 计算序列之间的差异，并通过某种指标量化误差。

我建议您忘记要启动mp3，而应该在线上找到一些免费的MIDI文件（或自行制作）。通过获取参考MIDI文件，以各种方式对其进行修改，然后针对原始版本和每个修改版本运行算法，来测试算法。

如果您对结果感到满意，则继续进行转换问题（音频文件-> MIDI）。当然，您不必使用MIDI，可以设计自己的格式。如何解决这个问题取决于您。 WAV文件通常只是标头+ PCM，因此您可以查看以下内容：

wav-to-midi conversion