我需要从已分区的 Hive 表中删除特定行。这些要删除的行符合某些条件,因此不能删除整个分区。假设表 Table
有三列:partner
、date
和 source_key
,它由 date
和 source_key
分区。>
众所周知,hive (See How to delete and update a record in Hive) 中不支持删除或更新特定记录集的操作。
在 this solution 之后,我成功地执行了以下查询,以便保留只匹配某些给定条件的记录,例如:属于某个给定的 date
范围,具有source_key='heaven'
和列 partner<>'angel'
...
创建表 Table
的临时空副本。
CREATE TABLE IF NOT EXISTS tmpTable LIKE Table;
用当前行填充它。
INSERT OVERWRITE TABLE tmpTable
PARTITION (date,source_key)
SELECT * FROM Table
WHERE
date >= '2020-05-01' AND date < '2020-11-30' AND
source_key = 'heaven';
删除目标分区。
ALTER TABLE Table DROP IF EXISTS
PARTITION (source_key = 'heaven' , date >= '2020-05-01' , date < '2020-11-30' );
将编辑好的分区插入到目标表中。 (由于语法错误,无法插入 OVERWRITE)
INSERT INTO Table
PARTITION (source_key,date)
SELECT * FROM tmpTable
WHERE
partner <> 'angel';
删除临时表。
DROP TABLE IF EXISTS tmpTable;
查询运行良好。因为表 Table
是管理的,所以当分区被删除时,hdfs 文件应该被删除,但有些错误(可能在最后一个 INSERT INTO 语句中)因为在执行所有这些查询之后目标表 {{ 1}} 保留给定日期范围内带有 Table
的所有记录,带有 ,基本上保持不变。
错在哪里?有什么不见了?对于这样的Hive表,如何准确删除符合特定条件的特定行?
答案 0 :(得分:0)
表分区可以直接从自身选择+ WHERE 过滤器中覆盖。该场景非常简单,您不需要任何临时表。如果您不确定会发生什么,请制作备份表。
如果要删除整个分区(而不是覆盖),请执行
ALTER TABLE TableName DROP IF EXISTS
PARTITION (<partition spec to be dropped>); --check partition spec to be dropped carefully
如果没有要删除的分区,请跳过此步骤。
用过滤的行覆盖其他分区:
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.allow.move.on.s3=true; --If you are on Qubole/S3
insert overwrite table TableName partition (date, source_key ) --partition spec should match table DDL
select * from TableName
where <condition> --condition should be True for rows which NOT be deleted
您的代码相当混乱,因为您使用 LIKE 创建了临时表,但使用了不同的分区规范并选择了 *(与原始表中的列顺序相同)。列的顺序应该完全匹配,分区列是最后一个,也是相同的顺序。