Question

如果我指定＆＃39; dt＆＃39;作为一个分区，然后出现错误＆＃34; FAILED：执行错误，从org.apache.hadoop.hive.ql.exec.mr.MapRedTask＆＃34;返回代码2。这是我的分区代码：

   create EXTERNAL table novaya.user_goods_behaviour 
(  member_srl           string,  
   productid            string ,   
   buy_amt              bigint,  
   return_amt           bigint, 
   cart_cnt             bigint,  
   view_cnt             bigint,  
   search_click_cnt     bigint , 
   brand                string , 
   mng_catecode1        int ,
   mng_cate1            string , 
   mng_catecode2        int ,
   mng_cate2            string , 
   mng_catecode3        int ,
   mng_cate3            string  ,
   mng_catecode4        int ,
   mng_cate4            string ) partitioned by (dt string) 
   ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS parquet;

insert overwrite table novaya.user_goods_behaviour PARTITION (dt)
select * from ...;

但是，当我不使用分区时，没关系。

create EXTERNAL table novaya.user_goods_behaviour 
(  member_srl           string,  
   productid            string ,
    dt                   string,
   buy_amt              bigint,  
   return_amt           bigint, 
   cart_cnt             bigint,  
   view_cnt             bigint,  
   search_click_cnt     bigint , 
   brand                string , 
   mng_catecode1        int ,
   mng_cate1            string , 
   mng_catecode2        int ,
   mng_cate2            string , 
   mng_catecode3        int ,
   mng_cate3            string  ,
   mng_catecode4        int ,
   mng_cate4            string )  
   ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' STORED AS parquet;



 insert overwrite table novaya.user_goods_behaviour select * from ...;

所以我想知道这个有什么问题，以及如何解决它。非常感谢。

Answer 1

分区字段应该是选择投影列表中的最后一个。

即。由于dt是分区列，因此它应该是最后一列。您使用的是*运营商，因此不确定dt是否为最后一次。

尝试以下查询：

insert overwrite table novaya.user_goods_behaviour PARTITION (dt)
Select `(dt)?+.+`, st from ....;

Answer 2

尝试使用列名：

insert overwrite table novaya.user_goods_behaviour PARTITION (dt)
select column1,column2.... from ...

这不能解决您的问题，然后您可以在插入查询之前尝试运行此查询：

set hive.exec.dynamic.partition.mode=nonstrict;

在hive中指定要分区的字段时返回错误

2 个答案: