无法使用Scrapy抓取某些链接

Question

我遇到了一个奇怪的错误。我无法抓取链接https://www.example.com/2/

但是，我可以抓取链接https://www.example.com/922/

附言。由于我的工作不允许，因此我没有使用真实链接。抱歉。

Answer 1

当我尝试使用命令scrapy view https://www.example.com/2/对其进行调试时，它显示了我期望的正确HTML。当我通过Chrome检查器检查URL时，结果显示它提供了正确的HTML，但显示的错误状态为500，而不是200。我在蜘蛛网中使用handle_httpstatus_list = [500]解决了该问题。