如何配置Avro MapReduce作业以将结果输出到单个文件中？

Question

我有一个三节点集群，当Avro作业完成时，它会创建三个输出文件（拆分文件），但是，我想只输出一个文件。有什么建议吗？

Answer 1

设置mapred.reduce.tasks = 1，但这可能会增加执行时间。

您还可以使用hadoop -getmerge命令在作业结束后获取单个文件。