如何验证上传到CosmosDB的数据？

Question

我在Azure Data Lake Store中的单个~2.13GB文件中有442k个JSON文档的数据集。

我通过Azure Data Factory管道将它上传到CosmosDB中的集合。管道成功完成。

但是当我在Azure Portal中访问CosmosDB时，我发现收集大小只有1.5 GB。我试图为这个集合运行SELECT COUNT(c.id) FROM c，但它只返回19k。我也看到抱怨这个计数功能不可靠。

如果我打开集合预览，首先~10条记录符合我的期望（ID和内容与ADLS文件中的相同）。

有没有办法快速获得实际记录数？或者其他一些方法可以确保在导入过程中没有丢失任何内容？

Answer 1

根据此article，您可以找到：

  

使用Azure门户的查询资源管理器时，请注意聚合查询可能会在查询页面上返回部分聚合的结果。 SDK在所有页面上生成单个累积值。   要使用代码执行聚合查询，您需要.NET SDK 1.12.0，.NET Core SDK 1.1.0或Java SDK 1.9.5或更高版本。

所以我建议您首先尝试使用azure documentdb sdk来获取计数值。

有关如何使用的更多详细信息，您可以参考此article。