性能方面，对于典型的令人尴尬的并行场景，使用Hadoop而不是MPI会更好吗？

Question

我对两者都很陌生，但我想知道何时使用其中一种更好。

我知道Hadoop只适用于令人尴尬的并行任务（并且MPI对其他任何东西都非常好），但是我不禁注意到用MPI开发一个大规模并行程序几乎是微不足道的{{1 }和MPI_Bcast函数。

那么有谁可以告诉我更多关于每个（Hadoop和MPI）的最佳使用场景？是否有任何时间（性能方面）我应该看一个而不是另一个？

Answer 1

MPI和Hadoop旨在用于不同目的。 MPI是一种简单的通信中间件，适用于紧耦合稳定的静态系统，例如：超级计算机或专用计算集群。它试图在消息传递上非常轻快，并提供一些处理数据数组的选项。虽然它支持异构环境，但它不支持故障转移或故障容错 - 如果一个进程终止或某个计算节点出现故障，这通常会导致整个MPI工作。