如何使用Scrapy python登录stackoverflow站点

Question

我刚刚开始学习scrapy，我想尝试使用python和Scrapy进行一些测试。 我正在考虑从我发布的特定标签中获取问题列表，然后在SO上解析它们。

但我不知道如何使用open id和Scrapy进行登录。

有些人可以指导我这个我必须提交数据的网址，因为当我输入openid时，网站会被转移到openid网址，那​​我怎么能输入密码

Answer 1

使用your RSS feed（基本上是xml）。

我能想到的另一种方式是：

Login normally in browser
export cookies to file
use that file in script

我可以想到fanatic徽章变得不那么重要的情况。因为，人们只需在他们的服务器上安排cron每天访问SO！所以，我建议不要做这类事情。

Answer 2

Here是一个很好的例子，说明如何使用scrapy模拟用户登录请求。