Tensorflow:如何检测音频方向

时间:2018-10-28 21:37:04

标签: tensorflow audio direction

我有一个任务:确定声源位置

我在使用tensorflow方面有一些经验,他对一些简单的特征和数据集进行了预测。我认为对于此任务,有必要分析声音频率以及可能有关训练的其他相关数据,然后分析预测步骤。声音从耳机传出,因此人耳能够检测方向。

1)有人已经执行了吗?(很遗憾找不到任何类似的项目)
2)在尝试实现这一目标时,我会遇到什么样的警告?
3)我可以使用这种技术方法来做到这一点吗?还有其他声音处理框架/技术/开源项目可以帮助我吗?

我要问的是,由于我对google,github,stackoverflow的研究未向我显示该特定主题的任何相关结果,因此,我们非常感谢您的帮助!

1 个答案:

答案 0 :(得分:3)

通常使用具有多个传感器的更传统的DSP完成此操作。您可能需要研究到达时间差(TDOA)和到达方向(DOA)。诸如GCC-PHAT和MUSIC之类的算法会有所帮助。

您可能会遇到的问题是:DOA精度取决于源的直接混响比,即环境中混响越多,确定源位置就越困难。

此外,您可能还需要考虑要解析的位置尺寸的数量。 3D空间中的一个点比相对于传感器的方向要困难得多

使用ML作为解决方案并不是完全没有优点,但是您必须考虑要学习的内容,即您可能不想了解测试室的混响特性,而要了解传感器的空间特性。