在hadoop Map-Reduce中,如何知道map的任务结束或filesplit的结束

时间:2012-04-26 06:15:52

标签: hadoop mapreduce cloudera

hadoop中的map任务适用于输入文件的64/128 MB分割。它从输入分割的第一行开始处理直到结束。我需要找出如何知道地图任务何时完成处理其输入拆分。换句话说,在洗牌和排序开始之前。 hadoop库中有什么方法可以回答我的问题吗?

1 个答案:

答案 0 :(得分:5)

cleanup类的Mapper方法允许您在映射器处理输入拆分时执行代码,只需覆盖它,就像覆盖map方法一样。

如果那不是您所追求的,也许Counter可以解决您的问题?