如何增加hadoop计数器号

Question

众所周知，hadoop计数器的数量是120.我想增加数量，我尝试添加流量配置：

mapreduce.job.counters.limit=1000
mapreduce.job.counters.max=1000
mapreduce.job.counters.groups.max=500
mapreduce.job.counters.group.name.max=1000
mapreduce.job.counters.counter.name.max=500

但是，它没有意义。 所以你们知道如何增加柜台号码。提前致谢！

Answer 1

您需要更新所有JobTracker，TaskTrackers和客户端的配置，然后重新启动它们。例如，mapreduce.job.counters.limit仅在启动时加载到Limits.COUNTERS_MAX。

Answer 2

虽然您的问题的实际部分已经得到解答，但我想提醒您注意一些事项：

  

1-由于JobTracker必须维护，因此计数器非常昂贵   每个地图/减少任务的每个计数器在整个持续时间内   应用。所以明智地使用它们。

     

2-由于计数器存储在JobTracker中，因此存在公平的可能性   您的JobTracker将以如此高的计数器值进入OOM。和   这就是保持计数器数量的原因   每个作业创建，受Hadoop限制。