Azure CosmosDB - 将集合中的所有文档下载到本地目录

Question

我正在尝试将我的cosmosDB集合中的所有文档下载到本地目录。我想使用python修改所有JSON文档中的一些内容，然后将它们上传到另一个Azure帐户。下载我馆藏中所有文件的最简单，最快捷的方法是什么？我应该使用CosmosDB模拟器吗？我被告知要查看Azure的数据工厂？这有助于在本地下载文件吗？我也被提到了CosmosDB的数据迁移工具，我发现它有助于向CosmosDB导入数据，但我在导出时找不到多少。我的收藏中有大约6GB的Json文件。

感谢。

Answer 1

过去我使用过DocumentDb（CosmosDb）数据迁移工具which is available for download from Microsoft。

运行应用程序时，您需要指定源和目标，如下面的屏幕截图所示

确保选择从DocumentDb导入并指定要从中导出的连接字符串和集合。如果要转储集合的全部内容，查询将只是

SELECT * FROM c

然后在目标信息下，您可以选择一个将保存到本地硬盘的JSON文件。您可以以任何方式自由修改该文件的内容，然后在准备好将其导回到另一个集合时将其用作源信息。

Answer 2

我使用了迁移工具，发现如果你有一个合理大小的数据库很好，因为它确实使用了很长一段时间的处理和带宽。我不得不打碎一个10GB的数据库，这花了太长时间，所以最终使用Data Lake Analytics通过脚本传输到SQL服务器和Blob存储。它为您提供了很大的灵活性来转换数据并存储在其他分布式系统的Data Lake中。如果需要，如果您使用cosmos进行分段并且需要通过任何清理算法运行数据，那么它也会有所帮助。

其他优点是您可以设置批处理，并获得大量处理统计信息以确定如何优化大数据转换。希望这可以帮助。欢呼声。