Azure数据工厂管道的执行时间各不相同

Question

我们有大约190个小时使用情况文件，它们需要在24小时内到达数据湖，然后才能启动我们的管道，该管道从分析活动开始。我们已经在预期所有文件到达但并非总是发生的估计时间上在调度程序上运行了此管道，因此我们需要为丢失的文件重新运行片。

是否有一种更有效的方法来处理此问题，并且不按计划进行管道传输，而是在所有文件都已到达数据湖的事件中触发它。

输入的TIA！

Answer 1

您可以在创建（或删除）新的Blob时添加事件触发器。我们在生产中使用逻辑应用程序执行此操作，但是Data Factory V2现在似乎也支持它。好处是您不必估计适当的频率，只需在必要时执行即可。

注意：您可以执行的并发管道数量是有限制的，因此，如果您一次将所有190个文件都放入blob存储中，则可能会遇到资源可用性问题。