标签: hadoop mapreduce hadoop2
我在从其他配置访问计数器时遇到问题。在java上实现map reduce时,有没有办法从不同的Configuration访问Hadoop计数器,还是计数器配置特定?
答案 0 :(得分:0)
计数器分为两个级别。工作级别和任务级别。
如果要跟踪作业级别聚合,则需要使用配置和上下文对象。
如果要计算任务级别,例如,如果要计算map方法的调用次数,可以在Mapper方法中声明一个全局变量,并在调用map方法时将其递增并将其写入上下文清理方法中的对象。