无法从受SAML身份验证保护的Web资源(HTML页面)中抓取数据(使用第三方供应商Pingidentity实现)
我正在使用python 3.x beautifulsoupe请求从受保护的网页上抓取数据。
我已经按照下面给出的网页实施了代码
https://romscodecorner.blogspot.com/2018/05/advanced-scraping.html
但是,以上页面未提供有关如何通过SAML身份验证凭据的详细信息
所以我通过了以下详细信息
response =requests.get("http://DOMAIN\\id@url", proxies=proxies)
以下是我尝试过的代码,但是没有用
requests.packages.urllib3.add_stderr_logger()
user = 'DOMAIN\\id'
password = 'pwd'
http_proxy = 'xyz:123'
proxies = {'http': http_proxy, 'https': http_proxy}
session = requests.Session()
session.verify = certifi.where()
session.proxies = proxy_dict
response =session.get("http://DOMAIN\\id@url")
response.history
saml_response_cookies = requests.utils.dict_from_cookiejar(
response.history[1].cookies
)
session.cookies.update(saml_cookies)
r = session.get('url')
请帮助我完成这项工作