验证失败 - 999-未处理或不允许HTTP状态代码

Question

我使用scrapy，我想获得忽略响应URL。我只在输出控制台中看到：

DEBUG：忽略响应＆lt; 999 https://www.mywebsite.com＆gt;：不处理或不允许HTTP状态代码。

Answer 1

根据文档here，您可以添加一个HTTP状态代码列表，即使默认情况下不允许这些代码也应由蜘蛛处理。

在您的情况下，您必须在蜘蛛定义中添加以下行：

handle_httpstatus_list = [999]

即使使用此状态代码，这也会导致蜘蛛获得结果。

下次在提出问题之前请先通过StackOverflow了解类似的问题并阅读文档。放一些代码让我们知道你的错误发生在哪里也没错。没有这些信息，社区很少能给出任何答案。