是否可以将Hadoop Counter数据保存到HDFS中？

Question

我想以编程方式使用计数器数据。 这可能吗？数据可以保存在HDFS中。

Answer 1

在作业的主要功能中，作业完成后，您可以以编程方式从作业中取出计数器，然后将其保存到HDFS中。
所以你在main中的代码看起来像这样：

    ...
job.waitForCompleteion();
// read counters looks something like this:
 Counters c = job.getCounters();
 Counter cnt = c.findCounter("YouCounterName");
 // counter has getName() and getValue() methods    
...
// save to hdfs 
...