我们正在从netezza
到hadoop
非分区表,然后从非分区到使用insert overwrite方法分区的数据。在此之后,我们在分区表上运行databasename.tablename的计算增量统计信息,但是对于某些错误的分区,此查询失败
无法执行命令:计算增量统计信息和分区目录中某些文件没有此类文件或目录。
答案 0 :(得分:2)
您可以在计算统计信息之前运行刷新语句,以立即刷新元数据。即使刷新语句返回代码为0,也可能需要等待几秒才计算统计数据,因为过去的经验表明即使在给出返回代码之后元数据仍然是刷新的。除非脚本按顺序执行这些命令,否则通常不会看到此问题。
refresh yourTableName
compute stats yourTableName
从Impala 2.3开始,您还可以使用alter table recover分区而不是刷新元数据或修复表。
alter yourTableName recover partitions
compute stats yourTableName