使用mapreduce在不同文件中为不同的输入文件写入输出

时间:2013-04-14 17:06:21

标签: file text hadoop mapreduce hdfs

如何使用mapreduce为不同的输入文件在不同的文件中编写输出 假设我想从video.txt和outlier.txt计算每个文件的术语频率,将结果分别存储在video1.txt和oulier1.txt中?

1 个答案:

答案 0 :(得分:0)

在您的映射器中,将文件名附加到您找到的每个单词。你的密钥就是'word + filename'。确保您的分区程序使用'filename'进行分区,以便同一文件中的所有单词最终都会使用相同的reducer