如何重试和执行ADF管道直到满足条件

时间:2019-07-01 08:50:23

标签: azure azure-functions azure-data-factory-2

ADF管道需要每天执行一次,比如说凌晨03:00。

但是在执行之前,我们还需要检查数据源是否可用。

数据是由外部代理提供的,它会定期将相应的数据加载到每个源表中,并使用标志表让我们知道此过程何时完成:如果数据源1准备就绪,则将标志设置为1。 >

我找不到用ADF实现此逻辑的方法。

我们需要一些东西,例如,在03.00 h会触发一个“元素”来检查这些标志,如果这些标志没有启动,则不会启动管道。假设过去10分钟,再次检查这些标志,并最多进行X次这样的操作,或者直到标志升起为止。

如果标志已启动,请启动管道执行,并停止尝试进一步启动管道。

你会怎么做?

逻辑本身并不复杂,但是我不知道在哪里实现。我应该开发启动管道的Azure Funtions还是通过现成的AZDF活动实现该目标的方法?

Graphic description

1 个答案:

答案 0 :(得分:1)

有一个UNTIL迭代活动,您可以在其中检查您的子句。 示例:

  • 您的天蓝色函数(AF)检查该标志并返回0或1。
  • 使用UNTIL活动构建ADF管道,在其中检查AF的输出(如果其1执行某项操作)。在UNTIL活动中,您可以进行处理。例如,您有一个变量标记,直到活动为0之前,该变量标记都将保留。直到您检查它是否为1为止。如果是,则执行处理步骤;如果不是,则将WAIT活动放在10分钟左右。

因此,您可以在ADF中进行迭代,直到不满意为止。 希望对您有所帮助:)