在 ADFv1 中,我们可以具有管道级别的依赖性,并且每个管道都可以有自己的执行时间表。
例如说我有一条日常管道p1
,它有一个输出数据集d1
。
然后我们有另一个月度管道p2
,它使用 d1 作为输入数据集并产生月度输出数据集d2
。
我们如何在 ADFv2 中创建类似的内容?
我知道我们已经执行了管道活动,所以我们可以有一个主 具有2个管道的链执行管道活动,这些 活动又可以触发
p1
和p2
,但是问题是 主管道只有一个TumblingWindow触发器 每天执行一次。在这种情况下,两个p1 & p2
都将执行一次 一天-但这不是我想要的。
管道p2
应该是每月管道,具体取决于每日管道p1
。
如何在 ADFv2 中实现它?