当作业（减速器数量）超过集群容量时，预计会出现什么性能损失？

Question

我在配置文件中为hadoop中的每个节点配置（映射器/缩减器的数量）。

我提交任何指定（使用的映射器/缩减器数）的MR任务。

当作业（缩减器数量）超过群集容量时，预计会出现什么性能损失？

Answer 1

1. 可能未指定Mappers数量！

   设置为运行的映射器数量完全取决于

   1. 文件大小
   2. 块大小

1. 没有直接的方法来估算您案件的绩效损失。这取决于减少的类型，并且很大程度上取决于数据。

   例如：假设您的数据是其中一个减少运行时间太长而其他减速器将完成并启动第二个减少作业。因此，当一次大幅减少时，可能会完成所有减少。