异构集群中的Hadoop MapReduce2优化

Question

我有这个配置：

• Hadoop： v2.7.1 （纱线）
• 输入文件：大小= 100 GB。
• 3个Slaves：每个有4个VCORES，速度= 2 GHz，RAM = 8 GB
• 5个Slaves：每个都有2个VCORES，速度= 1 GHz，RAM = 2 GB
• MapReduce程序：WordCount

如何通过为5个较慢的从设备分配小输入分割并为3个最快的从设备分配大输入分配来最小化WordCount执行时间？

Answer 1

对于每台计算机，您可以确定映射/减少插槽的数量，因此，如果您希望将较少的工作负载发送到您可以定义的较慢的计算机，例如，每个较慢的计算机有2个map / reduce任务槽，以及4个map / reduce任务每个快速机器的插槽。这样，您可以控制群集中每个不同节点接收的工作量。