我想支持在Hive表上保留旧分区。基本上,我需要在特定时间段后自动删除Hive分区。我可以手动执行此操作,也可以使用脚本来执行此操作,但是我注意到每个Hive表中都存在一个保留属性,但是找不到很多有关此属性的信息。
例如,在配置单元表中使用descibe时,具有保留属性
desc formatted my_hive_table;
>>>
col_name data_type comment
...
Retention: 0 NULL
...
,我已经找到了2014年Jira,但不确定它是否已实现以及如何实现。
任何人都可以确认Hive是否支持此功能,如果可以,如何正确配置它?
答案 0 :(得分:1)
我认为它在Hive 3中可用,至少从3.1.4开始在HDP中可用 在此处查看配置https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.4/using-hiveql/content/hive-set-partition-retention.html