上游依赖项的数据工厂等待超时

时间:2017-12-28 10:56:30

标签: pipeline azure-data-factory azure-data-lake

我目前正在使用Data Factory V1。

我有一个包含2个链式活动的管道:

。第一个活动是复制活动,它将SQLDB中的表提取到Data Lake Store中的.tsv文件

。第二个活动是Data Lake Analytics U-SQL活动,它收集先前创建的.tsv文件中的数据,并将其添加到Data Lake数据库中的现有表。

显然,我只想在第一个活动之后运行第二个活动,所以我使用第一个活动的输出数据集作为输入数据到第二个活动,它工作正常。

但是,如果第一个活动失败,第二个活动将停留在状态"等待:数据集依赖关系(上游依赖关系尚未就绪)"。

我为第二个活动设置了policy-> timeout属性,但它似乎只在此活动开始后才起作用。因此,由于活动永远不会开始,它不会超时并且会一直停滞不前。

如何设置此超时"等待"周期?

谢谢

1 个答案:

答案 0 :(得分:0)

这就是v1的工作原理。如果您的上游数据集失败,则第二个数据集将保持等待状态,直到第一个数据集成功完成。

如果您正在使用计划,则需要修复第一个活动的问题并再次运行失败的切片。如果您正在使用一次性管道,则必须在解决问题后再次运行整个管道。

超时仅在处理实际开始时有效,如de Data Factory documentation中所述。

  

如果片上的数据处理时间超过超时值,则会取消,系统会尝试重试处理。重试次数取决于重试属性。发生超时时,状态设置为TimedOut。