我获得了hive查询的多个输出文件。所以,我的第一个问题是我可以将输出配置为仅在一个文件中。另外,我可以选择自己的输出名称而不是0000吗?
仅供参考,我没有使用jar文件向hadoop提交作业。而不是它我正在使用hive查询我的工作。那么,我该如何重命名输出文件名。
答案 0 :(得分:3)
通过将reducer的数量设置为0,可以将单个文件作为输出。您可以从Hive CLI执行此操作:
hive> set mapred.reduce.tasks = 1;
是的,您可以更改输出文件的名称。您可以继承OutputFormat.java
类并编写自己的类。您可以查看TextOutputFormat.java和MultipleOutputFormat.java等的代码以供参考。为此,您可以将该类子类化,并覆盖您需要更改的方法。