通过python登录网站进行抓取的方法

时间:2012-12-18 21:35:46

标签: c# python mobile login screen-scraping

所以累了很多方法登录我的大学网站

我厌倦的方法给了我401,我已经使用了机械化请求ntlm,所有这些都给了我一个401,所以如果有的话。

另外请记住,我正在尝试开发一个移动应用程序,并将从这个网站获取数据,以便用户登录信息,我现在该怎么办,但似乎无法过去。

如果没有其他语言,可以像C#或Vb.net这样做,但是他们会像android和ios那样工作吗?

12月18日10:27更新: 有一个200状态代码,因为我放了wronge域名,域名必须是本地网络上使用的服务器名称,

2 个答案:

答案 0 :(得分:3)

使用requests尝试requests_ntlm

    import requests
    from requests_ntlm import HttpNtlmAuth

    requests.get("http://ntlm_protected_site.com",auth=HttpNtlmAuth('domain\\username','password'))

答案 1 :(得分:0)

显然,如果没有登录你的大学网站,对它进行逆向工程有点困难,但从查看链接来看,这就是我所看到的:

WWW-Authenticate: Negotiate
WWW-Authenticate: NTLM

我不是Python方面的专家,但我确实记得,对于非Microsoft客户来说,NTLM一直很痛苦,但并非不可能。

当然,使用.NET客户端访问此内容应该没有问题。

您是否尝试过例如python-ntlm?我看到它基于NTLM Authorization Proxy Server的代码,我记得多年前使用这些代码来处理NTLM身份验证。