即使在设置mapreduce.output.basename参数之后,仍会使用part-r前缀创建的Spark输出文件

时间:2018-07-26 23:36:30

标签: apache-spark mapreduce

我正在执行Avro Spark作业。尝试使用以下命令设置输出文件前缀:

AvroJob.setOutputKeySchema(job, CustomAvroRecord.SCHEMA$);

job.getConfiguration().set("mapreduce.output.basename", "testPrefix");

javaPairRDD.saveAsNewAPIHadoopFile(outputPath, new 
AvroKey<CustomAvroRecord>().getClass(), NullWritable.class, 
AvroKeyOutputFormat.class, job.getConfiguration());

但是仍然使用part-r前缀创建输出文件。任何指针表示赞赏。谢谢

0 个答案:

没有答案