我正在使用scrapy
并实现mongodb
管道,
但是最近我发现我有很多物品时,有些物品会得到
pymongo.errors.ServerSelectionTimeoutError: x.x.x.x:27017: timed out
是每个项目,它将打开mongoclient连接并关闭。
我们可以为整个scrapy
打开连接以提高性能吗?
答案 0 :(得分:0)
实际上,为每个项目打开新的连接似乎并不节省资源。本教程准确地显示了如何对每个搜寻器进行一个连接。 https://realpython.com/web-scraping-with-scrapy-and-mongodb/