在MapReduce作业中,映射器从输入文件的第1行开始处理,直到第n行。我需要找出我们的映射器何时开始处理第n行。当映射器执行最后一行输入时,我想执行一些操作。所以,我希望向mapper指示文件的最后一行。 Hadoop库中有没有可以实现此目的的方法?
我正在使用Hadoop 2.4。
答案 0 :(得分:1)
在任务被销毁之前,您似乎正试图在映射器中执行一些清理工作。那是对的吗?如果是这样,那么重写org.apache.hadoop.mapreduce.Mapper#cleanup(Context)就足够了吗?