Azure数据工厂禁止管道双重运行

时间:2017-10-31 18:20:37

标签: azure azure-data-factory

我知道这可能是一个令人困惑的标题,但无法更好地达到任何目标。 问题 ... 我有一个包含3个活动的ADF管道,首先是复制到数据库,然后是存储过程的2倍。所有这些都是由day触发的,并使用WindowEnd读取正确的目录或将数据传递给SP。

我无法获得我们收到的XML文件的导入日期。

所以我试图在第一个SP中添加它。 问题是,一旦管道中的第一个动作完成,就会启动另外两个动作。

同一切片中的第二个动作,即添加日期的SP,但如果加载了历史记录,则同一个管道将再次启动另一个切片的副本。

所以我的数据混乱了。 正如您在“最后尝试开始”中看到的那样。 有人知道如何避免这种情况吗?

ADF Monitoring

1 个答案:

答案 0 :(得分:0)

如果有人遇到类似的问题.. 我通过使用每日命名表来解决问题。 每个切片将其数据放入具有_YYYYMMDD的临时表之后,可以设置为"tableName": "$$Text.Format('[stg].[filesin_1_{0:yyyyMMdd}]', SliceEnd)"。 所以现在不再存在并行问题了。 唯一的缺点是SP之后的第一个必须使用Dynamic SQL作为他们选择的表名是可变的。 但这不是一个很大的编码问题。 像魅力一样工作!