我正在尝试通过需要基本身份验证的HTTPS代理来抓取HTTPS站点,该连接已建立,但scrapy不会发送客户端问候,然后也无法从该网站获取任何数据。
例如,我可以使用curl做同样的事情
curl -U用户:密码-x https://proxy:8443 -v https://icanhazip.com
它可以正常工作。
如果我执行
http_proxy = https://user:password@proxy:8443刮y壳http://icanhazip.com
可以,但是
http_proxy = https://user:password@proxy:8443刮y壳https://icanhazip.com
绕过代理
我正在使用Scrapy:1.6.0
预先感谢