我们正在使用Azure Data Factory
进行ETL,将物化视图推送到我们的Cosmos数据库实例,以确保我们的生产Azure CosmosDB (SQL API)
包含用户所需的所有内容。
随着数据也通过速度层流入,CosmosDB处于恒定负载下。这是预期的,目前可以通过自动缩放RU设置解决。
我们尝试了以下选项:
Copy activity
到upsert
(从Azure Datalake (Gen2)
(源)到Cosmos DB
(汇)中的集合的数据的ADF管道。Write throughput budget
设置为可接受级别的Allow upsert
的ADF管道。使用与以前相同的来源。我们看到的429越来越少,我们的CosmosDB实例不堪重负,用户体验受到不良体验,超时和慢响应时间的影响。
由于复制活动试图尽快并高效地插入所有数据,因此它会以贪婪的方式消耗所有可用的RU。结果导致大量429,我们的CosmosDB实例不堪重负,速度层受到影响,并且用户体验受到影响,体验,超时和响应时间都很慢。
我们希望设置吞吐量预算的第二个选项可以解决此问题,但事实并非如此。我们做错什么了吗?
有人对如何解决此问题有任何建议吗?请告知
编辑:说明