我注意到在一个应用程序中并发READ(带有无效的元数据)和OVERWRITING表会导致底层文件损坏。
这是一个众所周知的场景吗?我预计,当表被覆盖时,并发读取将失败,它不能破坏表的底层文件。
帮助将不胜感激!
答案 0 :(得分:1)
如果文件损坏,不应该由并发读写引起。 HDFS是一个只读/附加文件系统,Impala将始终写入新文件。插入时,文件将写入暂存目录,Impala在文件完成之前不会读取该目录,此时它们将被移动到表/分区目录中。
要考虑的一些事项:如果独立于select运行插入,文件是否正常?腐败是什么意思?它在Hive中有效吗?你在运行什么版本的Impala?