Azure数据工厂复制活动花费的时间太长,无法加载XML文件

时间:2020-09-28 15:30:41

标签: azure azure-data-factory azure-data-factory-2 azure-data-factory-pipeline

我们每天都在azure文件存储路径中有一个传入XML文件,并且正在使用ADF Copy活动将它们加载到Azure SQL数据库中。源是引用XML文件的XML数据集,接收器是数据库中的表。如果文件大约为500mb,则复制活动将在不到3分钟的时间内完成。但是当我们尝试一个680mb的文件时,它运行了将近5个小时。我们无法找到这种大量时间增长背后的原因。我们试图更改DIU和并行性设置,但没有帮助。

  • 有人知道为什么加载时间会这么大吗?
  • ADF XML复制活动是否具有文件大小限制?
  • 除了用azure函数重写逻辑之外,还有什么方法可以减少处理时间?

任何帮助或建议,我们将不胜感激!谢谢

0 个答案:

没有答案