Scrapy Spider重试请求

时间:2016-02-29 22:35:27

标签: python-2.7 scrapy scrapy-spider

有时我会得到意外html的回复,并且不会提取所有项目字段,但是,如果我重试请求,它通常会返回预期的html。

作为一个快速修复,我正在捕捉蜘蛛&&方法中的错误:

parse

我遇到了this post这似乎是一个类似的场景,但似乎这种类型的错误应该在项目管道中处理......有关实现此修复的最佳方法的任何想法吗?

0 个答案:

没有答案