什么可能是节点上减少器分布不良的原因

时间:2016-12-23 08:58:00

标签: hadoop mapreduce yarn

在Hadoop MR中,作业mapreduce.job.reduces设置为等于集群中的节点数(~50)。

但是,在应用程序UI中,我看到一些节点有2-3个reducer任务,有些节点有0个。

我想为每个节点安装一个reducer。没有为作业提供分区程序。我希望默认的散列分区器能够在机器上均匀地分配密钥。密钥只是一个表示URL的字符串,我确信密钥哈希码没有任何问题。那可能是什么问题?

我的猜测是问题与YARN资源管理有关,但我不确定。

0 个答案:

没有答案