ADF V2管道自动化

时间:2020-08-16 07:21:49

标签: azure-data-factory azure-data-factory-2 azure-automation

我需要实现以下要求的帮助:

有一个ADF管道每两个小时运行一次(带有Tumbling窗口触发器),现在我需要再创建一个管道来执行维护工作。该管道计划每月运行一次(带计划触发器)。这是我要实现的要求:

  1. 现在,在运行第二条管道之前,我需要确保第一条管道未运行(基本上获取状态,如果正在运行则等待其完成),然后禁用与之关联的触发器。
  2. 运行第二个管道,完成后,启用与第一个管道相关联的触发器

请让我知道这是否可以在ADF中实现或需要某种自定义脚本来实现。

1 个答案:

答案 0 :(得分:0)

首先,您的想法是可以实现的。

第二,如果要在Azure Datafactory中使用内置功能,则没有办法。

基本上,您需要使用azure函数(简单的httptrigger,不提供任何输入,然后您可以直接执行它。)来实现ADF无法做到的要求。根据您的描述,这两个管道的执行是互斥的,因此您可以使用sdk在azure函数中检查另一个管道的状态。如果另一个管道正在运行,请等待几秒钟,然后重新检查另一个管道的状态。(简而言之,将主要逻辑和代码放入azure函数中。)

简单的天蓝色函数:

https://docs.microsoft.com/en-us/azure/azure-functions/functions-bindings-http-webhook-trigger?tabs=csharp

使用SDK进行监视:

https://docs.microsoft.com/en-us/azure/data-factory/monitor-programmatically#net

(我提供的链接是C#,您可以选择其他受支持的语言。)

enter image description here