我有一个带有非常简单的数据流的Azure数据流,它花费的时间比我期望的更长。该流从Azure Blob存储中获取JSON文件,添加一些新列,然后将其存储在Cosmos DB中(参见下图)
JSON文件非常小,大小从1-15kb不等,我目前在Blob容器中有约200k个文件。
当我试图自行在管道中执行此数据流时,我让它运行了8个小时以上,然后才取消活动。然后,我将数据迁移到高级存储帐户并重新运行该活动,以为SA可能是瓶颈。它已经运行了将近2个小时,而且我还没有看到Cosmos DB的任何插入内容。监视器屏幕显示以下内容:
是否存在某种可能导致此任务花费很长时间的配置?
我尝试从容器中删除除10个文件以外的所有文件,整个过程耗时约7分钟。那是正常的吗?我应该期望该过程花费140000分钟吗?