是的，我已经读过我可以检查repsonse.status以获取错误代码，但问题是控件无法访问我的处理程序，例如HTTP错误400：scrapy报告日志，但没有机会以我的方式处理请求。在下面的考试中，下一个请求是通过解析＆＃39;完成的。并且错误将被回复到第二个请求，该请求由＆＃39; flight_search_start＆＃39;处理。
t还有第二个问题：当我关闭路由器时，框架会挂起很长时间，并且不会报告任何错误。
答案 0 :(得分：0)
默认情况下，scrapy ingores代码超出200-300范围。如果你想处理它们，你必须告诉scrapy让它们通过蜘蛛，或通过settings.py使用HTTPERROR_ALLOWED_CODES，例如。
HTTPERROR_ALLOWED_CODES = [404,403,406, 408, 500, 503, 504]
请参阅文档here。