我正在使用scrapy
抓取一些网站。
在我的parse
方法中,这是默认的解析方法,当响应不符合我的预期时,我该怎么办,例如,响应为无。
在scrapy
doc中,
此方法以及任何其他Request回调必须返回可迭代的Request和/或Item对象。
但是当你有错误时,首先你不能返回一个项目,其次,在我的情况下,不再返回任何请求。
我也不能return
,因为parse
方法是包含iterator
的{{1}}。
我可以想到一个可能的解决方案:只需yield
非法项目并将其放入管道中。
有更好的想法吗?