使用INSERT INTO SELECT将数据插入到hive S3外部表中会覆盖文件

时间:2017-04-16 22:32:52

标签: amazon-s3 hive

我有一个指向S3位置的外部表(tbl_external)。

我正在尝试使用另一个不是外部表的表(tbl_test)将数据插入外部表。

insert into tbl_external select * from tbl_test;

但是,当我运行上面的insert语句时,Hive总是生成一个具有相同文件名(000000_0)的文件。因此,当我多次运行insert语句时,文件被覆盖并且S3位置将始终具有单个文件而不是多个文件。

如何让Hive生成不同的文件名? (例如000000_0_copy_1000000_0_copy_2等)

我们的Dev环境中没有这个问题,我们只在Prod中遇到了这个问题。

  • Dev Hive版本为1.2.1.2.3.6.0-3796
  • Prod Hive版本为1.2.1000.2.5.3.0-37

0 个答案:

没有答案