如何获取Mapper在Reducer中输出的记录数

Question

我需要知道Mappers在Reducer中输出的记录数。只有一个Reducer，所以我猜这简化了事情。

我的第一个想法是在地图绘制器中增加一个计数器并将其放入减速器中，后来我发现这样的计数器已经存在，但它似乎并没有意味着＆＃34;从reducer中读取，但仅从驱动程序中读取。

我应该使用计数器以及如何正确地执行此操作，还是有其他方法？

Answer 1

是的，您可以利用固有的计数器，这些计数器甚至会在您的MR工作结束时被淘汰。搜索＆＃34;映射输出记录＆＃34;在https://martin.atlassian.net/wiki/x/SYBmAQ上查看读取的记录总数的示例。

你也可以创建自己的计数器，见＆＃34; WordsByLength＆＃34; https://github.com/lestermartin/hadoop-exploration/blob/master/src/main/java/lestermartin/hadoop/exploration/wordcount/WordSizeMapper.java中的一个。