在MapReduce中访问Hadoop计数器

时间:2015-04-18 06:45:15

标签: hadoop mapreduce hadoop2

我在从其他配置访问计数器时遇到问题。在java上实现map reduce时,有没有办法从不同的Configuration访问Hadoop计数器,还是计数器配置特定?

1 个答案:

答案 0 :(得分:0)

计数器分为两个级别。工作级别和任务级别。

如果要跟踪作业级别聚合,则需要使用配置和上下文对象。

如果要计算任务级别,例如,如果要计算map方法的调用次数,可以在Mapper方法中声明一个全局变量,并在调用map方法时将其递增并将其写入上下文清理方法中的对象。