我希望hadoop(0.22.0)将内容写入不同的文件中
部分-R-00000
部分-R-00001
部分-R-00002
部分-R-00003
每个reduce-job都是一个不同的文件。
我知道我可以使用MultipleOutputs-Class,但是这只允许我改变'part'-phrase,但这不是我想要的。我希望能够说出哪个reducer使用哪个输出文件以及最后得到的数字。
答案 0 :(得分:1)
当然你有控制权。作业完成后(例如,在job.waitForCompletion(true)之后)。您知道输出路径和使用的减速器数量。只是重命名文件,这就是全部....要运行更多的reducers,你应该使用分区器类。