Question

我正在尝试在分区表上运行插入覆盖。插入覆盖的选择查询完全省略了一个分区。这是预期的行为吗？

表定义

CREATE TABLE `cities_red`(                                                              
  `cityid` int,                                                                         
  `city` string)                                                                        
PARTITIONED BY (                                                                        
  `state` string)                                                                       
ROW FORMAT SERDE                                                                        
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde'                                           
STORED AS INPUTFORMAT                                                                   
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'                                     
OUTPUTFORMAT                                                                            
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'                                    
TBLPROPERTIES (                                                                         
  'auto.purge'='true',                                                                  
  'last_modified_time'='1555591782',                                                    
  'transient_lastDdlTime'='1555591782');

表格数据

+--------------------+------------------+-------------------+--+
| cities_red.cityid  | cities_red.city  | cities_red.state  |
+--------------------+------------------+-------------------+--+
| 13                 | KARNAL           | HARYANA           |
| 13                 | KARNAL           | HARYANA           |
| 1                  | Nagpur           | MH                |
| 22                 | Mumbai           | MH                |
| 22                 | Mumbai           | MH                |
| 755                | BPL              | MP                |
| 755                | BPL              | MP                |
| 10                 | BANGLORE         | TN                |
| 10                 | BANGLORE         | TN                |
| 10                 | BANGLORE         | TN                |
| 10                 | BANGLORE         | TN                |
| 12                 | NOIDA            | UP                |
| 12                 | NOIDA            | UP                |
+--------------------+------------------+-------------------+--+

查询

insert overwrite table cities_red partition (state) select * from cities_red where city !='NOIDA';

它不会从表中删除任何数据

insert overwrite table cities_red partition (state) select * from cities_red where city !='Mumbai';

它将从表中删除预期的2行。

在分区表的情况下，这是Hive的预期行为吗？

Answer 1

是的，这是预期的行为。

Insert overwrite table partition select ,,,仅覆盖select返回的数据集中存在的分区。

在示例分区state=UP中，记录仅包含city='NOIDA'。过滤器where city !='NOIDA'从返回的数据集中删除整个state=UP分区，这就是为什么不重写它的原因。

过滤器city !='Mumbai'不会过滤整个分区，它会部分返回，这就是为什么它会被过滤数据覆盖的原因。

它按设计工作。考虑只需要覆盖所需分区的情况，这对于增量分区负载来说是很正常的。在这种情况下，您无需触摸其他分区。 您通常需要能够仅覆盖所需的分区。而且不覆盖不变的分区，这可能会非常昂贵。

如果仍然要删除分区并修改现有分区中的数据，则可以删除/创建表（为此可能需要再创建一个中间表），然后将分区加载到其中。或者，计算需要单独删除并执行ALTER TABLE DROP PARTITION的分区。

在分区表上插入覆盖不会删除现有数据

1 个答案: