从mongoDB批量读取大数据 - Pymongo

时间:2017-07-20 11:18:01

标签: python mongodb cursor pymongo large-data

我的MongoDB中有7500万条记录。我需要批量读取整个数据(比如100,000),将其存储在某种流/队列中。一旦流有数据,Python脚本将从中读取并对数据进行操作。

基本上我希望collection.find()的结果以100,000的批量提供。

我知道我可以collection.find()[0:100000]然后collection.find()[100000:200000]等等 - here

但是我担心跑步的效率'跳过'每一次。

我知道cursor.batchSize(),但我不确定如何使用它来按顺序继续阅读数据。

有没有更好的方法呢?

0 个答案:

没有答案