我在查询中使用动态分区。我收到以下错误:-
ERROR Failed with exception Number of dynamic partitions created is 9000, which is more than 5000
我知道有关于该主题的多个帖子。为hive.exec.max.dynamic.partitions
设置更高的值应该很注意。我的问题不同。我试图了解错误的确切含义。此限制是否仅针对单个作业,即单个作业不能创建超过5000个动态分区?还是在表级别上限制,定义了动态分区的表不能总共包含5000个以上的分区?
答案 0 :(得分:1)
此限制适用于单个作业,而不适用于表格。 您可以查看Hive测试以验证这一点。