Mapreduce处理同一目录中的多个文件

时间:2015-03-03 22:22:45

标签: hadoop mapreduce

如果我的输入文件夹中有两个文件,hadoop mapreduce会将这两个文件都处理为。有没有办法为这两个文件指定不同的处理?例如,假设我不是为每个单词I encounter触发1,而是如果该单词在文件1中则触发1,如果在同一目录中出现在文件2中,则触发2。你会怎么做?

1 个答案:

答案 0 :(得分:1)

您应该能够按照此帖How to get the input file name in the mapper in a Hadoop program?

中的说明获取文件名

获得文件名后,您可以根据您应该能够触发1或2来检查文件名。