PyMongo与Scrapy无法正常工作

Question

My Scrapy解析器使用PyMongo作为将项目写入MongoDB的驱动程序。 为了生成请求，解析器从DB获取所有记录并通过以下方式获得：

...

for link in db.links.find():
    yield Request(...)

...

问题是，从800 + k记录开始，它仅通过大约6-8k。我如何迭代所有800 + k记录？