Azure Databricks CI / CD

Question

我指的是这个link以在我的Databricks环境中实现CI / CD。我已经建立了GitHub，并将笔记本与分支同步。我已经为每个环境创建了一个暂存和生产文件夹。目前，我手动将笔记本从母版导入和导出到暂存文件夹，然后运行作业。 但是我有一些问题-

1]每次合并到中央存储库后如何自动构建？

2]如何将最新的更改推送到多个环境？

Answer 1

看看此PowerShell模块以导入/导出笔记本https://github.com/DataThirstLtd/azure.databricks.cicd.tools/。

基本流程是：

• 像平常一样在线上开发笔记本电脑
• 使用Export-Databricks将笔记本折叠到本地磁盘并承诺回购
• 使用Import-DatabricksFolder命令运行和部署CI构建

使用GitHub集成后，您可以跳过导出。

Answer 2

据我了解，使用：

databricks fs cp etl-2.1-assembly.jar dbfs:/alice/etl/etl-2.1-assembly.jar

使您能够在本地或连续交付环境中构建jar，然后将jar上传到数据块。

这样，构建“很热”，您实际上不需要将其推到任何地方，而是将经过测试的jar上载到暂存/生产。