如何从HIVE表中提取5k文件

Question

我有一个用例，我在HBase表中获得了所有4 tb数据，我已经查询了HIVE表。

现在我想从我在HIVE中创建的30个表中提取5个k文件。

此5K文件将由预定义的5K查询创建。 有人可以建议我应该遵循的方法吗？ 所需时间为15小时。

我应该编写java代码来生成所有这些文件。

文件生成速度很快。除了5k文本文件外，还有50个文件需要大约35分钟，其余的创建速度非常快。

我必须生成压缩文件，并且必须使用ftp将其发送到客户端。

Answer 1

如果我理解你的问题，你可以通过首先通过以下方法之一导出查询结果来完成你的任务：How to export a Hive table into a CSV file?，压缩zip存档中的文件，然后用FTP来解决它们。您可以编写一个shell脚本来自动执行该过程。