如何处理Scrapy中的解析错误?

时间:2015-01-29 08:49:54

标签: python scrapy

我正在使用scrapy抓取一些网站。

在我的parse方法中,这是默认的解析方法,当响应不符合我的预期时,我该怎么办,例如,响应为无。

scrapy doc中,

  

此方法以及任何其他Request回调必须返回可迭代的Request和/或Item对象。

但是当你有错误时,首先你不能返回一个项目,其次,在我的情况下,不再返回任何请求。

我也不能return,因为parse方法是包含iterator的{​​{1}}。

我可以想到一个可能的解决方案:只需yield非法项目并将其放入管道中。

有更好的想法吗?

0 个答案:

没有答案