“确定DBIO文件片段的位置...”是什么意思，我该如何加快速度？

Question

在Databricks中运行简单的SQL命令时，有时会收到消息：

  

确定DBIO文件片段的位置。此操作可能需要   一段时间。

这是什么意思，如何防止它每次都必须执行此看似昂贵的操作？即使所有基础表都是增量表，也会发生这种情况。

Answer 1

这是有关增量缓存的消息。它确定在哪些执行器上缓存了哪些内容，以路由任务以实现最佳的缓存位置。更频繁地优化表，以减少文件数量，这会变得更好。