千兆样本的FFT和更长时间

Question

我的任务涉及计算非常大的一维FFT。而且，“非常大”，我指的是超出我的物理记忆量的尺寸。例如，我的系统现在有16 GB的内存，这足以同时保留2 ^ 30个双精度浮点数。我希望能够进行2 ^ 30维度的FFT，并且可能在更大数量的浮点数（例如，2 ^ 35）上进行FFT，这显然需要将它们逐个传递到FFT库中。

根据我的测试，IPP FFT不会超过2 ^ 27，NVIDIA CUFFT也不会超过2 ^ 24。我已经能够编写一些代码来做到这一点，但我对性能不满意。

是否有一个开源项目或库可以为我做这个？

Answer 1

核外FFT将受到可用磁盘带宽的限制，如果没有最佳条带化，则会受到磁盘搜索延迟的限制。您可以考虑在系统上安装几个快速SSD驱动器，或者在服务器上（在“云”中）租用时间，该服务器具有足够的物理RAM（可能还有具有巨大DC的CPU，可能是Itanium或Power 7）来执行FFT核心。