在摄取到cosmos DB时，请求大小错误太大

Question

我正在尝试从SparkR向CosmosDB提取数据。我以dataframe的形式获取数据。我使用样本数据集进行测试，数据被摄取。但是当我尝试摄取大量数据时数据，我收到了像

这样的错误

  

{“错误”：[“请求数量太大”]}

我确保数据帧大小不超过2MB我知道来自the link的CosmosDB中文档大小的最大限制为2MB。请指导我应该在哪里纠正。谢谢。

Answer 1

基于您现在使用的mongolite驱动程序，我查看了使用jsonlite将R对象序列化为json的驱动程序的源代码。因此，您可以使用以下代码检查要插入Azure CosmosDB的json文档的大小。

library(jsonlite)
# Serialize a R object to json using jsonlite
json <- serializeJSON(output_rich_dataset)
# Count the byte size of the json document using `nchar` method
size <- nchar(json)
print(size)

希望它有所帮助。