标签: python-2.7 scrapy scrapy-spider
有时我会得到意外html的回复,并且不会提取所有项目字段,但是,如果我重试请求,它通常会返回预期的html。
作为一个快速修复,我正在捕捉蜘蛛&&方法中的错误:
&&
parse
我遇到了this post这似乎是一个类似的场景,但似乎这种类型的错误应该在项目管道中处理......有关实现此修复的最佳方法的任何想法吗?