报废受SAML身份验证保护的网站

时间:2019-04-22 09:37:59

标签: python-3.x beautifulsoup

无法从受SAML身份验证保护的Web资源(HTML页面)中抓取数据(使用第三方供应商Pingidentity实现)

我正在使用python 3.x beautifulsoupe请求从受保护的网页上抓取数据。

我已经按照下面给出的网页实施了代码

https://romscodecorner.blogspot.com/2018/05/advanced-scraping.html

但是,以上页面未提供有关如何通过SAML身份验证凭据的详细信息

所以我通过了以下详细信息

response =requests.get("http://DOMAIN\\id@url", proxies=proxies)

以下是我尝试过的代码,但是没有用


requests.packages.urllib3.add_stderr_logger()

user = 'DOMAIN\\id'
password = 'pwd'

http_proxy  = 'xyz:123'
proxies = {'http': http_proxy, 'https': http_proxy}
session = requests.Session()
session.verify = certifi.where()
session.proxies = proxy_dict
response =session.get("http://DOMAIN\\id@url")

response.history
saml_response_cookies = requests.utils.dict_from_cookiejar(
    response.history[1].cookies
)
session.cookies.update(saml_cookies)

r = session.get('url')

请帮助我完成这项工作

0 个答案:

没有答案