Hadoop的Reducer运行在哪台机器上

Question

如果我有一个4节点集群，其中1台机器是namenode，其余3台机器是datanode，如果我将reducer的数量设置为1，哪个数据节点将运行reducer？

Answer 1

namenode和datanode是HDFS进程而不是MapReduce。我假设您有3个任务跟踪器节点。其中一个将运行它。无法保证哪一个。 Hadoop通常将计算移动到它所需的数据附近，但对于减速器，它们从映射器中提取数据而不是HDFS。您可以说Hadoop更喜欢负载较少的节点，并且至少有一个reduce槽。