我正在尝试使用requests
库登录网站,但它不像通常那样工作。
我希望网站在通过浏览器访问时发送cookie:
csrftoken: Bl5DOVcUge5VeRv771nAIUNbxmm9Z9l2
但是,我收到的是以下内容:
__cfduid: d2f8e300a0b867e8a6147462f3977f8b11375815648197 for .example2.net/
这个按预期工作:
agent1 = requests.session()
agent1.get('https://example1.com/')
print agent1.cookies
返回:
<<class 'requests.cookies.RequestsCookieJar'>[<Cookie example1session=6ce1fa7fc23669078c9cf86001b34c4f for .example1.com/>, <Cookie countrycode=FR for example1.com/>, <Cookie csrftoken=ETcsKwBgUkPxPjgN6hJaOXv5byIL15mE for example1.com/>, <Cookie lat=46.0 for example1.com/>, <Cookie lon=2.0 for example1.com/>]>
这个没有:
agent2 = requests.session()
agent2.get('https://www.example2.net')
print agent2.cookies
它返回:
<<class 'requests.cookies.RequestsCookieJar'>[<Cookie __cfduid=d14644e3e542bf4165a0714c0e77d04eb1375816707171 for .example2
此__cfduid
Cookie与网站运行的CloudFlare DDOS保护服务有关。这可能与问题有关吗?
答案 0 :(得分:1)
我发现了类似的问题。在我的情况下,我试图登录对URL进行POST,服务器重定向我。在此重定向期间,cookie已设置(正如我在浏览器中看到的那样),但是在我的python程序中没有设置cookie。
我发现定义一些类似于浏览器的标题并禁用重定向修复了问题。
headers = {
'Host': 'www.example.net',
'Origin': 'http://www.example.net',
'Referer': 'http://www.example.net/',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36'}
session = requests.Session()
session.headers = headers
session.post('http://www.example.net/login/', data=values, allow_redirects=False)