在Hive中将分区添加到外部表

时间:2019-09-11 05:11:14

标签: hive partition hive-partitions

我想知道将分区添加到外部表的最佳方法是什么。我在S3的蜂巢中有一个外部表,分区为 vehicle = / date = / hr =


现在可以在一天中的任何时间添加新车辆,并且一天中有几个小时或几天没有车辆的数据。

几乎没有解决方案 -msck reapir表:这需要很多时间 -通过脚本添加分区:我可能不知道何时创建新车辆或车辆的哪个小时数据不存在

人们通常如何解决将分区添加到外部表的问题

1 个答案:

答案 0 :(得分:1)

msck reapir table是执行此操作的正确方法。如果运行太慢,请尝试在修复表之前自动关闭统计信息:

set hive.stats.autogather=false;

您可以在恢复分区后再次启用它。

很可能您遇到了HIVE-18743或相关错误。就我而言,这很有帮助。