标签: scrapy
当抓取一个慢速网站时,我总是得到错误:TCP连接超时:10060。我想这可能发生在爬虫尝试与服务器建立TCP连接并且默认连接超时太低时。
我知道可以在scrapy中设置下载超时,但我发现无法设置连接超时。有没有人有想法?谢谢!
答案 0 :(得分:5)
DOWNLOAD_TIMEOUT可以在scrapy项目的settings.py中设置
http://doc.scrapy.org/en/latest/topics/settings.html#download-timeout