Python请求登录Glassdoor

Question

我正在尝试使用Python 2.7和Requests 2.7.0登录Glassdoor并获得html响应。但是，我们运行以下代码，它总是返回403禁止响应。我该如何正确登录？

s = requests.session()
login_data = {'username': 'myemailaddress', 'password': 'mypassword'}
s.post('https://www.glassdoor.com/profile/login_input.htm', data=login_data)
r = s.get('http://www.glassdoor.com/Reviews/us-reviews-SRCH_IL.0,2_IN1.htm')
print r

谢谢！

Answer 1

您可以采用稍微不同的方法并使用像Scrapy这样的框架：http://scrapy.org/

通过这种方式，您可以直接操作DOM并调用将触发（最有可能）javascript的点击事件，这些javascript将在网站上正确触发登录过程。