Question

我正在为一个并行的BFS最短路径算法链接一个未确定数量的地图缩减作业，当无法确定路径时，我的作业无限循环而不产生任何记录。我认为检查这个的最好方法是获取由hadoop维护的Map Output Bytes计数器。

如何才能访问此计数器？

Answer 1

要获取作业生成的地图输出字节计数器，请使用

long outputBytes = job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_BYTES").getValue();