Scrapy Web Scraping返回405

时间:2018-12-01 14:12:38

标签: web-scraping

我用python在Scrapy中制作了一个简单的蜘蛛,以从某些网站获得标题。我从一个网站的照片中看到此405错误,而另一个网站好,它返回了200。您知道吗问题可能是?

https://postimg.cc/gallery/2pbx9j7wy/

我在这个问题上搜索了很多,但是找不到。如果您能给我一个完整的答案或仅提供一些链接,我将不胜感激。

谢谢!

与这里链接的内容不同,因为我遇到了一个验证码...

1 个答案:

答案 0 :(得分:0)

因此不允许使用Http 405方法。这是什么意思? 有一个简单的GET请求,是在浏览器中键入URL时发生的。还有一个POST,通常在提交表单时使用。在您的情况下,此错误最可能意味着URL期望的内容不同于GET,并且鉴于这是某种验证码,因此很有可能期望POST。检查scrapy文档中的FormRequest类,以了解如何发出发布请求。