Hive限制中的最大动态分区

时间:2019-10-18 21:25:50

标签: hive

我在查询中使用动态分区。我收到以下错误:-

ERROR Failed with exception Number of dynamic partitions created is 9000, which is more than 5000

我知道有关于该主题的多个帖子。为hive.exec.max.dynamic.partitions设置更高的值应该很注意。我的问题不同。我试图了解错误的确切含义。此限制是否仅针对单个作业,即单个作业不能创建超过5000个动态分区?还是在表级别上限制,定义了动态分区的表不能总共包含5000个以上的分区?

1 个答案:

答案 0 :(得分:1)

此限制适用于单个作业,而不适用于表格。 您可以查看Hive测试以验证这一点。

https://github.com/apache/hive/blob/8dc40db5f90ca9491b643f70e2344decbd2ad8f5/ql/src/test/queries/clientnegative/dyn_part1.q