Question

我是这个领域的新手 - 但我需要在java中执行WAV-to-MIDI转换。有没有办法知道WAV-to-MIDI转换涉及的步骤究竟是什么？我有一个非常粗略的想法，因为你需要; 对wav文件进行采样，对其进行滤波，使用FFT进行频谱分析，进行特征提取，然后将提取的特征写入MIDI。但我找不到如何做到这一切的可靠来源或论文？有人可以给我提供线索，如何以及从何处开始？是否有任何开源API可用于此WAV-to-MIDI转换过程？

提前谢谢

Answer 1

这是一个比你想象的更复杂的过程。

这个研究问题通常被称为音乐转录：将音乐的低级表现形式（例如波形）转换为更高级别的表现形式，如MIDI甚至乐谱

您的解决方案的复杂程度取决于输入数据的复杂程度。大量研究论文仅针对单声道钢琴或鼓声进行音乐转录...因为它们易于转录。（相对而言）小提琴更难。声音更难。小提琴加声音加钢琴要困难得多。交响乐几乎是不可能的。你得到了照片。

音乐转录的基本要素涉及以下任何重叠区域：

（多）音高估计
仪器识别，音色建模
节奏检测
注意开始/偏移检测
表单/结构建模

在Google学术搜索或ISMIR会议中搜索有关“音乐转录”的论文：http://www.ismir.net。如果您对上述某个子主题更感兴趣，我可以进一步指出。祝你好运。

编辑：话虽如此，我们都可以在网上找到现有的解决方案。随意试试吧。但正如你所做的那样，用批判的眼睛和耳朵来评估它们。什么类型的音频信号会导致转录失败？

我们的建议取决于您的最终目标。您声明“需要在 Java 中执行...”。所以听起来你只是想要一些工作，无论它如何让你在那里。在这种情况下，我同意100％与他人：使用存在的东西。

这实际上是一个有趣的问题;我所知道的所有MIR库通常都是C / C ++ / Python / Matlab。但不是Java。 EchoNest有一个Java API，但我不认为它会进行音符级转录。 http://developer.echonest.com。（编辑：它做音符级转录。返回的数据包括音高，音色，节拍，tatum等等。但我发现复音仍然是一个问题。）

哦，Marsyas是基于Java的。凉。我以为这只是C ++。 http://marsyas.info/我建议这样做。它由MIR教授George Tzanetakis开发。它进行信号级分析，应该是一个不错的选择。

现在，如果这是一次有趣的学习体验，我认为您可以使用Java中的声音处理实用程序来试验WAV信号并查看结果。

编辑：此页面比我更好地描述了MIR软件：The Tools We Use

对于Matlab，您可能对MIR Toolbox

以下是常见数据集的一个很好的页面：MIR Datasets

Answer 2

这对于成为该领域的新手是一项非常大的工作，除非您的意思是您熟悉信号分析和特征检测，并希望更具体地了解自动转录。

没有用于WAV到MIDI转换的API。 Vamp是一个功能提取插件的框架，但要进行自动转录，您需要使用现有插件的所有功能，并实现其中没有任何功能存在的功能。

浏览the vamp download page上插件的说明，如果你想这样做，你应该开始研究的主题是你不理解的任何描述。

Answer 3

如果您不需要自动执行此任务（例如，对于人们可以上传MP3并获取MIDI文件的网站），那么您应该考虑使用Melodyne这样的工具，它已经非常擅长走吧史蒂夫指出，这是一项非常艰巨的任务，即使是目前最好的算法和解决方案也不是100％可靠。

因此，如果您只是从事工作室工作并需要进行一些转换，那么使用已经为此任务设计的工具可能会节省您一些时间（并且让您头疼）。

Answer 4

海豚，抱歉粗暴，但你完全低估了这个问题。您想要达到的目标 - 完整的钢琴声音转录涉及在演奏时使用的所有参数，需要与在该领域工作多年的人进行大量研究。即使是一组信号处理博士也需要投入大量的工作才能接近你的意思。音乐转录需要数十年的工作才能使中途工作变得可靠。我建议你选择一个不同的问题，你可以比这更好地管理。

Answer 5

这是一个仍处于高度发展阶段的领域，但仍有一些（实验性）算法可供使用。

您可以安装声波注释器并使用一些鞋面插件。

例如：

if (false)

wav-to-midi转换

5 个答案: