我在使用分区号命名每个reduce任务的输出文件时遇到了一些问题。我如何用该分区号命名输出文件? 我查看了MultipleTextOutputFormat。它可以生成一个新文件,其中包含我为每个键选择的名称。但我想用我选择的名称命名每个分区的输出文件,即使用分区号。 请帮助我。
由于
答案 0 :(得分:0)
您可能需要继承OutputFormat类并覆盖其中的几个方法以实现解决方案。
答案 1 :(得分:0)
您可以在减速机中尝试jobConf.getInt("mapred.task.partition", 0)
。