如何在scrapy中设置TCP连接超时?

时间:2012-08-17 09:31:25

标签: scrapy

当抓取一个慢速网站时,我总是得到错误:TCP连接超时:10060。我想这可能发生在爬虫尝试与服务器建立TCP连接并且默认连接超时太低时。

我知道可以在scrapy中设置下载超时,但我发现无法设置连接超时。有没有人有想法?谢谢!

1 个答案:

答案 0 :(得分:5)

DOWNLOAD_TIMEOUT可以在scrapy项目的settings.py中设置

http://doc.scrapy.org/en/latest/topics/settings.html#download-timeout