我的MongoDB
中有7500万条记录。我需要批量读取整个数据(比如100,000),将其存储在某种流/队列中。一旦流有数据,Python脚本将从中读取并对数据进行操作。
基本上我希望collection.find()
的结果以100,000的批量提供。
我知道我可以collection.find()[0:100000]
然后collection.find()[100000:200000]
等等 - here
但是我担心跑步的效率'跳过'每一次。
我知道cursor.batchSize()
,但我不确定如何使用它来按顺序继续阅读数据。
有没有更好的方法呢?