Scrapy Mongodb管道超时

时间:2019-03-12 03:19:04

标签: python mongodb scrapy pymongo

我正在使用scrapy并实现mongodb管道,

但是最近我发现我有很多物品时,有些物品会得到

pymongo.errors.ServerSelectionTimeoutError: x.x.x.x:27017: timed out

是每个项目,它将打开mongoclient连接并关闭。 我们可以为整个scrapy打开连接以提高性能吗?

1 个答案:

答案 0 :(得分:0)

实际上,为每个项目打开新的连接似乎并不节省资源。本教程准确地显示了如何对每个搜寻器进行一个连接。 https://realpython.com/web-scraping-with-scrapy-and-mongodb/