我正在尝试使用请求下载一些文档,但页面会将我重定向到屏幕上的用户日志,从而下载HTML页面。
我尝试过:
c=requests.get(url,auth=HTTPBasicAuth('user','pass'))
但我没有通过身份验证。
我也尝过香草和文摘。
表单本身如下:
<input id="username" name="username" class="required" tabindex="1" type="text" value="" size="25" autocomplete="false"/>
<br/>
<label for="password">Password</label>
<input id="password" name="password" class="required" tabindex="2" type="password" value="" size="25" autocomplete="off"/>
我是否需要传递用户名和密码作为有效负载的一部分?如果是这样,我该怎么做?到目前为止,我尝试了几种不同的方式。
答案 0 :(得分:6)
基本上,它与从页面上抓取身份验证ID并传入cookie有关。
这基本上就是我所做的:
from bs4 import BeautifulSoup as bs
import requests
s = requests.session()
url = r'url_i_care_about'
def authenticate(s, url):
headers = {'username': 'myuser', 'password': 'mypasss', '_Id': 'submit'}
page=s.get(url)
soup=bs(page.content)
value=soup.form.find_all('input')[2]['value']
headers.update({'value_name':value})
auth = s.post(url, params=headers, cookies=page.cookies)