插入覆盖查询中的hive中的SkipTrash

时间:2016-11-25 11:22:03

标签: hive recycle-bin

我在hive中插入了覆盖查询,执行查询后数据被转储到垃圾文件夹中。

是否有可以避免的选项或财产?

1 个答案:

答案 0 :(得分:0)

在Hive 1.2.0中,DROP操作有一个PURGE选项:https://issues.apache.org/jira/browse/HIVE-9118https://issues.apache.org/jira/browse/HIVE-7100

不幸的是,这不适用于外部表和insert overwrite语句。

但是你仍然可以在INSERT OVERWRITE之前删除文件,我知道这并不总是可以接受的解决方案,使用带有rm选项的-skipTrash命令:

hadoop fs -rm -r -f -skipTrash  hdfs://your_table_path/*

如果您在DEV环境中,您可能想要完全禁用TRASH功能。这可以通过在core-site.xml

中设置fs.trash.interval=0来完成