处理单个文件时,Azure数据工厂数据流性能很差

时间:2020-02-29 21:53:22

标签: azure-data-factory azure-data-factory-2

我有一个带有非常简单的数据流的Azure数据流,它花费的时间比我期望的更长。该流从Azure Blob存储中获取JSON文件,添加一些新列,然后将其存储在Cosmos DB中(参见下图)

Azure Data Flow

JSON文件非常小,大小从1-15kb不等,我目前在Blob容器中有约200k个文件。

当我试图自行在管道中执行此数据流时,我让它运行了8个小时以上,然后才取消活动。然后,我将数据迁移到高级存储帐户并重新运行该活动,以为SA可能是瓶颈。它已经运行了将近2个小时,而且我还没有看到Cosmos DB的任何插入内容。监视器屏幕显示以下内容:

Data Flow monitor

Data Flow activity

是否存在某种可能导致此任务花费很长时间的配置?

我尝试从容器中删除除10个文件以外的所有文件,整个过程耗时约7分钟。那是正常的吗?我应该期望该过程花费140000分钟吗?

0 个答案:

没有答案