Azure数据工厂复制活动/数据流消耗CosmosDB中的所有RU

时间:2020-05-22 12:04:51

标签: azure-cosmosdb azure-data-factory

我们正在使用Azure Data Factory进行ETL,将物化视图推送到我们的Cosmos数据库实例,以确保我们的生产Azure CosmosDB (SQL API)包含用户所需的所有内容。

随着数据也通过速度层流入,CosmosDB处于恒定负载下。这是预期的,目前可以通过自动缩放RU设置解决。

我们尝试了以下选项:

  1. 具有Copy activityupsert(从Azure Datalake (Gen2)(源)到Cosmos DB(汇)中的集合的数据的ADF管道。
  2. 使用DataFlow和CosmosDB接收器并将Write throughput budget设置为可接受级别的Allow upsert的ADF管道。使用与以前相同的来源。

我们看到的429越来越少,我们的CosmosDB实例不堪重负,用户体验受到不良体验,超时和慢响应时间的影响。

由于复制活动试图尽快并高效地插入所有数据,因此它会以贪婪的方式消耗所有可用的RU。结果导致大量429,我们的CosmosDB实例不堪重负,速度层受到影响,并且用户体验受到影响,体验,超时和响应时间都很慢。

我们希望设置吞吐量预算的第二个选项可以解决此问题,但事实并非如此。我们做错什么了吗?

有人对如何解决此问题有任何建议吗?请告知

编辑:说明

0 个答案:

没有答案