Hadoop Wordcount示例包含多个文件并杀死其中的mappers

时间:2013-11-15 06:12:36

标签: java hadoop mapreduce

我有3个输入文件:file1.txt,file2.txt,file3.txt。 file1.txt包含一些错误数据。当我在MapReduce作业3中提交这些文件时,将创建映射器。 现在我需要杀死包含名为file1.txt的错误文件的映射器。在杀死映射器之后,我希望从映射器中丢弃错误文件并将其存储在hdfs中。 我如何杀死映射器并丢弃文件?
如果我杀了映射器,剩下的映射器应该完成他们的过程,整个工作应该完成。请帮忙

1 个答案:

答案 0 :(得分:0)

这可能不是一种选择方法。将元组(K,V)存储在地图存储器中,如果不满足无效条件,则将其发送到最后。