Databricks Delta 表 - 它们通常存储在哪里?

时间:2021-02-22 00:29:06

标签: databricks azure-databricks delta-lake

我正在开始我的 Delta 表之旅,但仍然让我感到困惑的一件事是,如果您以后需要查询它们,保存 delta 表的最佳位置在哪里。

例如,我正在将几个表从本地迁移到 Azure 数据块到单独的增量表中。我的问题是,我应该将大小可能很大的单个增量表保存到 DBFS 数据块内部存储中,还是应该安装一个 blob 存储位置并将增量湖表保存在那里?人们在这些情况下通常会做什么?

1 个答案:

答案 0 :(得分:1)

我通常建议人们将数据存储在单独的存储帐户中(挂载或直接使用),并且不要将工作区的内部存储用于该任务。主要原因 - 如有必要,可以更轻松地与其他工作区或其他系统共享此数据。内部存储应主要用于临时文件、库、初始化脚本等。

有许多有用的指南可以提供帮助: