如何在代码中获取Hadoop中的统计信息？

Question

我希望在我的Java代码中获得一些信息，例如Map输入字节，减少shuffle字节等。完成Hadoop作业后，此信息将打印到控制台，但是我正在寻找一种方法将它们放入我的代码中？

Answer 1

您正在寻找Hadoop计数器。查看http://lintool.github.io/Cloud9/docs/content/counters.html或Is there a way to access number of successful map tasks from a reduce task in an MR job?。