如何在mapper中为每个输入记录输出单独的文件?

时间:2015-07-20 18:19:44

标签: hadoop mapreduce

我有一个mapreduce工作,它只包含mapper。我希望这个作业能够为每个输入记录输出一个单独的文件(其名称来自输入记录)。我怎么能这样做?

1 个答案:

答案 0 :(得分:0)

这不是映射器接口的设计方式,但没有什么能阻止您在映射器代码中打开文件并将某些内容写入该文件。

您可能希望更新一些计数器(使用reporter.incrCounter()),以便Hadoop知道您的代码正在执行某些操作,因为您不会调用output.collect()。< / p>