Databricks-GitHub集成,自动将所有笔记本添加到存储库

时间:2018-11-06 09:47:12

标签: git github automation databricks

我正在尝试为Databricks建立 GitHub集成
我们那里有数百个笔记本,而将每个笔记本手动添加到存储库中将使您筋疲力尽。

是否有某种方法可以自动提交并将所有笔记本从数据砖推送到存储库?

1 个答案:

答案 0 :(得分:1)

由于三个月没有人回答,我将提出自己的解决方案。

在数据块的/Shared/目录下,我们有笔记本,应将其同步到notebooks/Shared/下的存储库中。
我会定期运行此脚本,从而使所有笔记本都保持最新状态。

databricks workspace export_dir /Shared ./notebooks/Shared -o
git add --all
git commit -m "shared notebooks updated"
git push

-o标志用于覆盖具有最新版本的现有笔记本。

更多信息在这里: https://databricks.com/blog/2017/11/08/introducing-command-line-interface-for-databricks-developers.html

注意,您首先必须在计算机上设置和配置databricks-cli: https://docs.databricks.com/user-guide/dev-tools/databricks-cli.html#set-up-the-cli