Question

我想在“插入覆盖”之前检查某个分区是否已经存在。仅在该分区不存在时才需要插入。

如何修改此查询？

INSERT OVERWRITE TABLE myname.mytable PARTITION (ds='2019-07-19')

Answer 1

如果您使用动态分区的配置单元表插入/覆盖配置单元表，则只有在select语句中提取了分区的情况下，它才会覆盖。

SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;

INSERT OVERWRITE TABLE db.PartitionTable PARTITION (native_country)
select
 age
,workclass
,education
,marital
,occupation
,race
,sex
,native_country
from db.sometable
where native_country='Vietnam';

另一种方式是：

#!/bin/bash
table="db.PartitionTable"
partition_col="native_country=Vietnam"
partition_lookup="native_country='Vietnam'"
partition_exists=$(hive -e "show partitions $table" | grep "$partition_col");

echo $partition_exists

#check if partition_exists
 if [ "$partition_exists" = "" ];
 then echo "partition does not exists";
 else echo "partition exists"
 hive -e "select * from $table where ${partition_lookup}" > output.tmp;
 fi

Answer 2

您还可以使用动态分区插入和where partition column NOT in (select from myname.mytable)实现相同的目的。像这样：

INSERT OVERWRITE TABLE myname.mytable PARTITION (ds)
select col1, col2 ...
       '2019-07-19' ds --partition column
  from ... 
where ds not in (select distinct ds from myname.mytable where ds='2019-07-19')

如果分区存在，则select不会为现有分区返回任何行，因此不会覆盖该分区。您也可以使用NOT EXIST来做到这一点。

INSERT OVERWRITE PARTITION（）检查分区是否存在

2 个答案: