我们中的一些人正在使用 IDE 并尝试将笔记本 (.py) 文件部署到 dbfs。我注意到的问题是在配置作业时,无法识别这些路径。
notebook_path: 如果我使用这个:
dbfs:/artifacts/client-state-vector/0.0.0/bootstrap.py.
Only absolute paths are currently supported. Paths must begin with '/'."
如果我用这个;
/dbfs/artifacts/client-state-vector/0.0.0/bootstrap.py
or
/artifacts/client-state-vector/0.0.0/bootstrap.py
我得到 Notebook not found
。
这可能是什么问题?
我从 Databricks 的架构中看到,笔记本属于 Microsoft 托管订阅,而 DBFS 属于客户订阅。这可能是原因(该 Notebook 任务只能从 Microsoft 托管订阅中选择)?例如我在有一些笔记本的工作区级别创建的文件夹没有显示在 DBFS 浏览器中,所以我开始认为这可能是原因。
答案 0 :(得分:0)
笔记本不是文件系统上的文件——它们存储在控制平面内,而不是存储在 DBFS 所在的数据平面中。如果您想执行 notebook - 您需要通过 Workspace API - import 或通过 databricks workspace import ...
command of databricks-cli 或通过 databricks_notebook
resource 的 Databricks Terraform 提供商上传它。只有在此之后,您才能在 notebook_path
参数中引用它。