MPI_reduce与MPI_allreduce的成本

Question

MPI_Reduce和MPI_allreduce（在网络延迟和带宽方面）的成本是多少。

如果您还可以提供算法参考，我将不胜感激。成本模型是否随消息大小而变化？

Answer 1

这些论文描述了MPI减少算法：

• http://www.mcs.anl.gov/~thakur/papers/ijhpca-coll.pdf
• https://fs.hlrs.de/projects/rabenseifner/publ/myreduce_iccs2004_2.pdf

通常，MPI集合使用了许多不同的协议，根据消息大小，涉及的进程数等进行选择。

在MPI减少的情况下，在MPI通信器上实例化某种形式的缩减树。对于大型消息，Rabenseifner的算法可能更有效。

Answer 2

我建议下载基准来测试一下。英特尔®MPI基准测试只能使用MPI_Reduce和MPI_Allreduce运行，以显示每个基准测试的预期时间。这是开源的，您可以使用首选的MPI实现进行编译，并使用各种参数进行测试。默认情况下，您将获得一组跨越邮件大小最多4 MB的结果。您可以在https://software.intel.com/en-us/articles/intel-mpi-benchmarks下载。