如何在CICD期间更新ADF管道级参数

时间:2019-09-11 18:19:41

标签: azure continuous-integration continuous-deployment azure-data-factory-2

作为ADF CICD的新手,我目前正在探索在将管道从一个环境部署到另一个环境时如何更新管道范围的参数。 这是详细的场景-
 我有一个简单的ADF管道,该管道具有复制活动,可将文件从一个Blob容器移动到另一个
 示例-下面有复制活动,并且管道有两个名为:
的参数               1- SourceBlobContainer
              2- SinkBlobContainer
及其默认值。

enter image description here

这是配置数据集以使用这些Pipeline范围参数的方式。

enter image description here

由于这是开发环境,因此可以使用默认值。但是,测试环境将使用完全不同的名称显示容器(例如“ TestSourceBlob”和“ TestSinkBlob”)。
话虽如此,当CICD发生时,应该通过更新这些参数的默认值来通过CICD流程进行处理。

在阅读文档时,我找不到处理此类用例的地方。
这是我引用的一些链接-

1 个答案:

答案 0 :(得分:1)

与“ ADF_Publish”分支中的ARM模板相反,还有另一种方法。 许多公司都利用这种解决方法,并且效果很好。
我花了几天的时间并构建了一个全新的PowerShell模块,以从您的master分支或直接从本地计算机发布整个Azure Data Factory代码。该模块解决了迄今为止任何其他解决方案中存在的所有难题,包括:

  • 替换JSON文件(ADF对象)中的任何属性,
  • 以适当的顺序部署对象
  • 对象的部署部分,
  • 删除源中不再存在的对象
  • 停止/启动触发器等

该模块可在PS Gallery中公开使用:azure.datafactory.tools
源代码和完整文档位于GitHub here中。
如果您有任何疑问或疑虑,请告诉我。