ADF每天重复处理每日切片3次

Question

我有一个复杂的ADF管道，基于切片的调度，其中slice = day。 现在它的工作原理如下：

Day1，Day2，Day3，...，PreviousDay， CurrentDay

在CurrentDay凌晨00:00，它重新处理PreviousDay。所以今天我只计算了前一天的数据。

我需要更改时间表，使其成功：

1）切片大小应保持相同=天

2） CurrentDay 的重新处理应该每天触发4次以模拟结果刷新（有点运行）

我之所以要留下相同的切片大小= 1天，是因为它是基础表的分区大小。我不想把它们缩小几个小时，因为它对于当前的数据量是没有意义的。

无法实现如何避免将切片大小改为几小时并实现此目标。如何强制重新处理当天？任何想法对我都有帮助。

谢谢。

Answer 1

执行此操作的方法是进行2次更改：

1. 将可用性设置为StartOfInterval，从而运行CurrentDay而不是PreviousDay。 Dataset availability and policies
2. 将活动的时间表设置为每小时一次，频率为8（因此每天运行4次）（有关详细信息，请参阅数据工厂调度和执行#initate-schedule-for-an-activity）活动和输出应该有匹配的切片，这可以通过下面的描述修复。

由于输入（Day：1）和活动（Hour：8）的切片不同，您需要在输入的活动中设置两个额外参数，以将切片从8小时更改为1天，从而匹配输入。执行基于输出切片。这里进一步解释：https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution#model-datasets-with-different-frequencies活动和输出切片也有不同的切片，可以使用相同的方法修复。