为什么MPP系统需要特殊的硬件？

Question

为什么像Amazon Redshift这样的MPP系统需要专用的硬件。他们为什么不能在现成的硬件上工作？而map-reduce系统自然可以在商品硬件上运行。

Answer 1

大规模并行系统不一定需要特殊硬件。 Wikipedia将网格计算作为一种MPP包括在内，而网格计算就是要在随机的，现成的系统（BOINC，Folding @ Home等）上运行

>

您特别提到了MapReduce框架的想法。 Google的原始实施（及其后续实施）是专门为在商品硬件上正常运行而设计的。 MapReduce在其约束（例如节点故障，节点之间的通信受限等）内工作。重要的是，您可以在MapReduce上运行的作业受到严格限制。您有一个映射步骤，而您有一个简化步骤；这两个步骤都涉及节点之间没有通信。您不能让所有的reduce工人互相闲聊！

但是，MPP的其他版本除了基本硬件外还具有其他要求。例如，massively parallel processor arrays是具有大量内核的专用IC，这些IC的排列方式使内核可以与其他内核进行高速，低延迟的互连。

您无法在标准计算机上执行此操作；每个芯片的内核数量要低得多，内核之间的通信方式也不同（通常与大量的共享内存一起工作）。