如何忽略Scrapy中的下载超时错误

时间:2015-02-24 16:27:52

标签: scrapy

我正在使用scrapy 0.24.4

我已将下载超时设置为15秒。一些网址采取>下载15秒,我的日志文件记录这些错误。我在日志文件中有很多这些异常/错误,因为我正在抓取的网址数量很多,而且很难看到真正的错误。有没有办法捕获这些特定的异常并忽略它们?

0 个答案:

没有答案