从Azure Block到CosmosDB的Azure数据工厂复制很慢

Question

我在Premium Azure存储中有一个BlockBlob。 这是一个500mb的zip文件，其中包含2.8亿个CSV格式的电话号码。

我已经在ADF中创建了一个管道来解压缩它，并将条目复制到Cosmos DB SQL API中，但是完成过程花费了40个小时。目标是每晚更新数据库中的信息。

我的存储帐户和Cosmos DB位于同一区域。 Cosmos DB分区键是区号，并且似乎分配得很好。

目前，在20,000 RU的情况下，我已经扩展了一些时间，但是门户网站不断告诉我要扩展更多。他们建议106,000 RU，即每月$ 6K。 有什么想法可以加快我的速度吗？

-更新。

我尝试导入解压缩的文件，但是它显示的速度没有更快。实际上，尽管报告了更多的高峰连接，但速度较慢。

我现在正尝试在开始传输时动态将RU放大/缩小到一个很高的数字。仍在玩数字。不确定用于确定我需要在X分钟内转移10.5GB的RU数量的公式。

Answer 1

我最终使用Azure Functions动态扩展了吞吐量。是的，如果我将RU的价格调高，Cosmos的价格将非常昂贵。但是，只有在进行数据提取然后再缩减时才需要那么高。我使用了一个Logic App调用Azure函数来“扩展RU”，然后启动了我的Azure Data Factory Pipeline。当它关闭时，它将调用Azure函数以进行缩小。