Hive 0.11中的自定义输出文件名

Question

我的Hive作业在AWS S3中生成输出文件名前缀块编号/名称0000。我想将文件名作为part-00000。有人可以帮助我实现这一目标。

Answer 1

有两种方法可以做到这一点 -

1. 使用派生自MultipleOutputFormat的Java类作为作业输出格式，允许控制输出文件名。 // job.setOutputFormatClass（TextOutputFormat.class）; LazyOutputFormat.setOutputFormatClass（job，TextOutputFormat.class）; MultipleOutputs.addNamedOutput（job，“text”，TextOutputFormat.class，Text.class，IntWritable.class）;
2. 使用（这是我测试过的） job.getConfiguration（）。set（“mapreduce.output.basename”，“text”）; 部件名称将更改，文件将创建为text-r-00000