如何抓取需要使用scrapy登录的网站？

Question

我想从某个网站上抓取数据，该网站需要登录才能访问某个页面，然后才可以抓取数据。

使用Scrapy登录后，有什么方法可以刮取数据？ 还是我们可以模拟登录？

注意：我确实拥有登录凭据。

Answer 1

简短答案：是的，您可以在登录后抓取数据。检查scrap的Formdata以及此答案post request using scrapy和documentation

长回答：登录页面只是表格。您可以访问这些字段以填写所需的详细信息并发布该数据。您可以手动登录并检查chrome开发人员工具 [ctrl + shift + i] ，以便在您按下“提交/登录”按钮时进行网络通话。然后，您可以检查发出的过帐请求并将其复制到刮板中。您可以查看上面的链接，以了解如何发布数据以及请求和响应如何工作。