Scrapy无法通过使用基本身份验证的HTTPS代理连接到HTTPS站点

时间:2019-02-19 19:09:29

标签: https proxy scrapy basic-authentication

我正在尝试通过需要基本身份验证的HTTPS代理来抓取HTTPS站点,该连接已建立,但scrapy不会发送客户端问候,然后也无法从该网站获取任何数据。

例如,我可以使用curl做同样的事情

curl -U用户:密码-x https://proxy:8443 -v https://icanhazip.com

它可以正常工作。

如果我执行

http_proxy = https://user:password@proxy:8443刮y壳http://icanhazip.com

可以,但是

http_proxy = https://user:password@proxy:8443刮y壳https://icanhazip.com

绕过代理

我正在使用Scrapy:1.6.0

预先感谢

0 个答案:

没有答案