我在hive中插入了覆盖查询,执行查询后数据被转储到垃圾文件夹中。
是否有可以避免的选项或财产?
答案 0 :(得分:0)
在Hive 1.2.0中,DROP操作有一个PURGE选项:https://issues.apache.org/jira/browse/HIVE-9118 和 https://issues.apache.org/jira/browse/HIVE-7100
不幸的是,这不适用于外部表和insert overwrite
语句。
但是你仍然可以在INSERT OVERWRITE之前删除文件,我知道这并不总是可以接受的解决方案,使用带有rm
选项的-skipTrash
命令:
hadoop fs -rm -r -f -skipTrash hdfs://your_table_path/*
如果您在DEV环境中,您可能想要完全禁用TRASH功能。这可以通过在core-site.xml
中设置fs.trash.interval=0
来完成