从HTTP源复制到Blob接收器时性能降低

时间:2019-01-02 12:24:46

标签: azure-data-factory azure-data-factory-2

我使用复制活动来调用HTTP API,并将json响应作为文件存储在Azure blob存储中。复制活动是在ForEach循环中执行的,每个活动运行需要16秒,但是当我查看运行详细信息时,它说复制持续时间仅为3秒。那么为什么活动需要16秒才能完成?源数据集是具有HttpServer链接服务的Http文件,接收器数据集是blob存储json文件。源数据集和接收器数据集都使用Binary Copy进行配置,这是对具有匿名身份验证的HTTPS URL的GET请求。

由于它在ForEach循环中多次运行,因此我想加快这种处理速度。有什么方法可以提高性能?

1 个答案:

答案 0 :(得分:0)

开始活动时总会有几秒钟的开销。还应考虑到http服务器可能还负责您在那里看到的那几秒钟。

如果每个循环都使用a并希望加快处理速度,则可以在foreach活动的“设置”标签中取消选中“顺序检查”。

希望这对您有帮助!