标签： python mongodb scrapy pymongo
My Scrapy解析器使用PyMongo作为将项目写入MongoDB的驱动程序。 为了生成请求，解析器从DB获取所有记录并通过以下方式获得：
... for link in db.links.find(): yield Request(...) ...
问题是，从800 + k记录开始，它仅通过大约6-8k。我如何迭代所有800 + k记录？