我正在尝试在分区表上运行插入覆盖。 插入覆盖的选择查询完全省略了一个分区。这是预期的行为吗?
表定义
CREATE TABLE `cities_red`(
`cityid` int,
`city` string)
PARTITIONED BY (
`state` string)
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
STORED AS INPUTFORMAT
'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
TBLPROPERTIES (
'auto.purge'='true',
'last_modified_time'='1555591782',
'transient_lastDdlTime'='1555591782');
表格数据
+--------------------+------------------+-------------------+--+
| cities_red.cityid | cities_red.city | cities_red.state |
+--------------------+------------------+-------------------+--+
| 13 | KARNAL | HARYANA |
| 13 | KARNAL | HARYANA |
| 1 | Nagpur | MH |
| 22 | Mumbai | MH |
| 22 | Mumbai | MH |
| 755 | BPL | MP |
| 755 | BPL | MP |
| 10 | BANGLORE | TN |
| 10 | BANGLORE | TN |
| 10 | BANGLORE | TN |
| 10 | BANGLORE | TN |
| 12 | NOIDA | UP |
| 12 | NOIDA | UP |
+--------------------+------------------+-------------------+--+
查询
insert overwrite table cities_red partition (state) select * from cities_red where city !='NOIDA';
它不会从表中删除任何数据
insert overwrite table cities_red partition (state) select * from cities_red where city !='Mumbai';
它将从表中删除预期的2行。
在分区表的情况下,这是Hive的预期行为吗?
答案 0 :(得分:0)
是的,这是预期的行为。
Insert overwrite table partition select ,,,
仅覆盖select返回的数据集中存在的分区。
在示例分区state=UP
中,记录仅包含city='NOIDA'
。过滤器where city !='NOIDA'
从返回的数据集中删除整个state=UP
分区,这就是为什么不重写它的原因。
过滤器city !='Mumbai'
不会过滤整个分区,它会部分返回,这就是为什么它会被过滤数据覆盖的原因。
它按设计工作。考虑只需要覆盖所需分区的情况,这对于增量分区负载来说是很正常的。在这种情况下,您无需触摸其他分区。 您通常需要能够仅覆盖所需的分区。而且不覆盖不变的分区,这可能会非常昂贵。
如果仍然要删除分区并修改现有分区中的数据,则可以删除/创建表(为此可能需要再创建一个中间表),然后将分区加载到其中。
或者,计算需要单独删除并执行ALTER TABLE DROP PARTITION
的分区。