如何跨群集从hive表复制到hive表？

Question

我有两个具有相同列和数据类型等的hive表，我想将数据从一个表复制到另一个表中的另一个表。

hive或sqoop提供了一种简单的方法吗？

情景：

Table A in Cluster1
Table B in Cluster2
Append table A into Table B on Cluster 2 

Answer 1

实现这一目标的一种便捷方法是使用Hive的 Import/Export 功能。 导出命令将表或分区的数据以及元数据导出到指定的输出位置。然后可以将此输出位置移动到不同的Hadoop或Hive实例，并使用导入命令从那里导入。

Answer 2

您也可以使用falcon进行数据复制。 您还可以使用hive上下文并使用Java或Scala编写代码来复制数据。

Answer 3

您可以使用Distcp命令在集群之间复制数据。但您必须先将表数据转换为文件，然后使用以下命令将文件复制到不同的集群。

$ hadoop distcp (src) (dest)

在群集2中复制文件后，您可以在表中加载该文件。 您可以在以下链接中找到更多信息：