标签: hadoop mapreduce cloudera
hadoop中的map任务适用于输入文件的64/128 MB分割。它从输入分割的第一行开始处理直到结束。我需要找出如何知道地图任务何时完成处理其输入拆分。换句话说,在洗牌和排序开始之前。 hadoop库中有什么方法可以回答我的问题吗?
答案 0 :(得分:5)
cleanup类的Mapper方法允许您在映射器处理输入拆分时执行代码,只需覆盖它,就像覆盖map方法一样。
cleanup
Mapper
map
如果那不是您所追求的,也许Counter可以解决您的问题?
Counter