HQL失败的sqlexception

时间:2019-04-01 02:50:18

标签: hive hiveql

我跑步时

Select * from table_a

使用蜂巢想法,我收到:

  

SQLException pa当前的sql输入文件超出了最大限制。请优化。最大文件-→100000

当我搜索此错误时,我什么也找不到。

1 个答案:

答案 0 :(得分:0)

好像您的表已经爆炸了允许的HDFS文件的最大数量。

转到配置单元(或直线)并运行以下命令,默认值为100000

set hive.exec.max.created.files;

要解决此问题,您需要检查插入查询,并了解为什么它创建了这么多文件。

但是暂时,您可以使用以下命令将某些分区(最好是全部分区)连接起来

alter table dbname.tblName partition (col_name=value) concatenate;