如何刮取https页面？

Question

我正在使用带有＆＃39; lxml＆＃39;的python脚本。和＆＃39;请求＆＃39;刮一个网页。我的目标是从页面中获取元素并下载它，但内容位于HTTPS页面上，并且在尝试访问页面中的内容时出现错误。我确定我必须包含某种证书或身份验证，但我很难找到合适的资源。我正在使用：

page = requests.get("https://[example-page.com]", auth=('[username]','[password]'))

，错误是：

requests.exceptions.SSLError: [Errno 185090050] _ssl.c:340: error:0B084002:x509 certificate routines:X509_load_cert_crl_file:system lib

Answer 1

将verify=False添加到GET请求可以解决问题。

page = requests.get("https://[example-page.com]", auth=('[username]','[password]'), verify=False)