Scrapy“太多打开文件”错误,由太多套接字引起

时间:2017-12-26 11:07:54

标签: python scrapy

我遇到了error 24: too many open files.的问题 搜索后我将ulimit更改为102400 ...

然而,我的蜘蛛在运行1周后仍然会出现此错误。

起初我以为它是由我的管道引起的(我更改了这个),所以我检查了/proc/{pid}/fd并发现打开了这么多套接字。

顺便说一句,你可以在这里找到代码:https://github.com/yz21606948/sinaSpider/tree/master/sina

1 个答案:

答案 0 :(得分:0)

我通过增加限制来解决它

ulimit -n unlimited