Hadoop框架如何决定运行Map作业的节点

Question

根据我的理解，存储在HDFS中的文件被分成块，并且每个块都被复制到多个节点，默认情况下为3。 Hadoop框架如何在复制特定块的所有节点中选择运行映射作业的节点。

Answer 1

据我所知，map任务的数量与块的数量相同。

请参阅手册here。

通常，框架会选择靠近输入块的节点，以减少map任务的网络带宽。

这就是我所知道的。

Answer 2

在Mapreduce 1中，它取决于承载副本的datanode中运行的地图任务的数量，因为地图任务的数量在MR1中是固定的。在MR2中没有固定的插槽，因此它取决于已在该节点中运行的任务的数量。