使用麦克风输入在3D地球仪上实时创建音乐可视化

时间:2016-04-01 17:51:34

标签: linux audio fft visualization raspberry-pi3

我参与了一个侧面项目,它有一个直径约1.5米的LED回路,底部有一个转子旋转环路。覆盆子pi控制LED,以便它们创建看起来像3D地球的光。我对一个项目感兴趣,该项目采用麦克风输入并将其转换为像素列,实时渲染在循环上。这样做的目的是看看我们是否可以让它实时响应音乐。到目前为止,我已经提出了这个想法:

使用FFT快速将输入声音转换为根据频率合成函数的幅度映射到某些像素到某些颜色的函数,因此地球的赤道将响应较低频率的强度声音,向上朝向极点前进,这将响应高频声音。

我可以想到一些潜在的问题,包括:

  • 树莓派的表现。如果反应远远落后于音乐,那么观察者似乎无法回应他/她也听到的特定歌曲。
  • 在没有检测到人们理解的音乐的节拍或某些整体特征的情况下,观察者可能难以理解输出与音乐相关。
  • 转子具有不同的速度,因此如果旋转速率与LED的刷新速率完全匹配,则图像仅是静止的。这是一个问题,但也可能有用,因为我可能会调低刷新率和转子速度,以减少树莓派的计算负荷。

有了这个背景故事,我现在应该问一个问题。一般来说,你会怎么做呢?我有一些并行计算和数值方法的经验,但我完全不知道音乐和音调,什么不是。我的部分问题是我知道树莓派是最新型号,但我不确定它的并行功能是什么。我需要找到一些可以在ARM处理器上进行FFT的Linux友好工具或库,并且能够实时进行后处理。我认为约0.25秒左右的延迟是可以接受的。我觉得我在脑海中,所以我想我要求你们输入。 谢谢!

0 个答案:

没有答案