不同的输出文件

时间:2013-03-03 17:03:56

标签: java hadoop

我希望hadoop(0.22.0)将内容写入不同的文件中 部分-R-00000
部分-R-00001
部分-R-00002
部分-R-00003
每个reduce-job都是一个不同的文件。 我知道我可以使用MultipleOutputs-Class,但是这只允许我改变'part'-phrase,但这不是我想要的。我希望能够说出哪个reducer使用哪个输出文件以及最后得到的数字。

1 个答案:

答案 0 :(得分:1)

当然你有控制权。作业完成后(例如,在job.waitForCompletion(true)之后)。您知道输出路径和使用的减速器数量。只是重命名文件,这就是全部....要运行更多的reducers,你应该使用分区器类。