如何使用scrapy模拟通过POST请求完成的登录（编码）

Question

是否可以使用scrapy模拟网站登录，例如www.eoddata.com？该网站使用帖子请求提交登录信息。

Answer 1

http://readthedocs.org/docs/scrapy/en/latest/topics/request-response.html?highlight=login#using-formrequest-from-response-to-simulate-a-user-login

Answer 2

是的，但由于表单的动态特性，您可能需要首先阅读登录页面以获取字段的确切名称和任何CSRF类型字段。你会想要遵循这样的序列

1. 使用您的刮刀阅读原始表单页
2. 解析此HTML以获取用户名字段的名称，密码字段以及任何CSRF类型身份验证字段的名称/值
3. 将POST信息发送到登录URL，其中username字段设置为用户名，密码字段设置为密码，以及上一步中捕获的任何其他CSRF类型字段
4. 在回复中获取身份验证Cookie

查看使用Firebug登录以获取登录URL，并查看字段名称和值是否动态。

Answer 3

看来scrapy本身还不够，像wireshark这样的嗅探工具是必须解决问题的方法：）