在两条单独的ADFv2管道完成后执行脚本

时间:2019-10-09 05:54:25

标签: sql-server azure azure-data-factory-2

我有两个ADFv2管道,它们将数据导入到Azure SQL数据库中的两个单独的srl表中。当两个管道都完成后,我将需要执行一个脚本。

每天都会创建启动每个单独管道执行的源.csv文件,但是我只能在两个管道都完成后才能执行脚本...

通过创建单独的.csv文件,通过Logic App触发每个单独的管道

我也可以使用Logic Apps,但目前找不到最佳的实现方法。

任何帮助都将不胜感激。

1 个答案:

答案 0 :(得分:0)

2种情况:

1。如果您不介意管道线性执行,则可以使用“执行管道活动”。执行函数,直到前两个执行管道活动成功执行为止,如下所示:

enter image description here

2。如果没有,我的想法是使用队列触发器。管道执行后,例如通过Web Activity(azure queue storage)将消息发送到REST API。配置功能队列触发器,判断它是否收到2条成功消息,然后执行一些工作。

当然,您可以使用ADF monitor SDKs进行反轮询,以检查两个管道的执行状态和结果并执行下一个作业。您可以选择合适的解决方案。

此外,您还可以如答案中所述了解Logic App。它支持2个连接器的追尾。他们两个都成功,然后再做下一项工作。

enter image description here