完成管道后执行管道

Question

我有第一个管道，用于从BigQuery到Azure吸收多个国家的数据，这是将bigquery转换后的数据复制到Azure中的操作。

在Data Factory上，我为每个具有多个管道的国家/地区创建多个文件夹，例如，仅针对1个或2个国家/地区的特定机器学习模型，仅针对5个国家/地区的应用程序的数据准备管道等。

我认为我需要为每个市场使用这种文件夹结构，以使需要实施管道并避免错误的任何人都清楚知道该文件。

这样做的主要问题是如何调用，例如文件夹UK中的机器学习管道，该管道只能在第一个管道（bigquery将数据复制到azure）完成后才能启动？

我无法调用执行管道活动，因为我的第一个管道bigquerytoazure是由他自己执行的，这是必须执行的非常重要的步骤，然后才能执行其他管道。

在未激活执行管道的情况下，有什么方法可以调用已完成的管道？

我考虑过要在第一个管道中创建一个虚拟的blob存储，以作为第一个管道之后所有管道的触发器？

预先感谢，希望我很清楚。

Answer 1

基于Blob存储的数据工厂事件触发器。我认为那是最好的方法。

您可以考虑使用Logic App的另一种方法，添加一个触发器以侦听SQL数据库中的BigQuery表，如果BigQuery表被修改，则执行数据工厂管道。为管道运行创建工作流程。

工作流程：

1. SQL Server触发器：修改项目时。
2. 添加并行分支
3. 数据工厂操作：运行管道

参考：Automate workflows for SQL Server or Azure SQL Database by using Azure Logic Apps

希望这会有所帮助。