Azure数据工厂管道挂起/超时

时间:2018-04-10 02:25:42

标签: azure-sql-database data-warehouse pipeline azure-data-factory

我正在构建一个数据仓库,我从两个源系统(A& B)中提取数据,主要管道并行执行它们,2系统是独立的:

enter image description here

提取是通过一组查询完成的,这些查询存储在表中的DB中并被每个管道读取:

enter image description here

当两个管道并行运行时,一些Lookup&复制操作在4:40之后被挂起并失败:(对象和管道超时设置为7天 - 默认值)

enter image description here

然后两个管道都失败了:

enter image description here

当我运行它们时,他们有时会成功完成:

enter image description here

我怀疑在Azure数据工厂,SQL Server或其他东西中存在某种加载问题,我看到Log IO在我运行管道时出现问题。我怎么能处理这种任何DWH经典的场景? (即从源系统复制到暂存区域)

我可以定时/同步每个动作吗?我不想构建自己的编排解决方案。

0 个答案:

没有答案