我正在使用https://github.com/scrapinghub/splash渲染页面。有一个功能可以让我通过代理发出请求。我已经从“ proxyrack”购买了一些代理,但是它们都不适用于https
网站。我收到“ SSL握手失败”响应。
我正在寻找一种方法来至少以某种方式禁用或绕过该问题,而不会带来任何运气。
需要解决方案。
我已经确定这些代理可以通过我的计算机使用curl正常运行,它们也可以通过启动docker实例(使用curl)正常运行。只有在使用启动HTTP API并提供proxyrack代理时,我才会收到该错误。
注意:我成功地使用了在Web上找到的免费代理使用的相同的启动实例,并且效果很好。
以此(从docker容器中):
curl localhost:8050/render.html \
-X POST \
-H 'Content-Type: application/json' \
-d '{ "url": "https://www.google.com/", "proxy": "http://username:password@usa.shared.proxyrack.net:40006"}'
我得到:
{"type": "RenderError", "description": "Error rendering page", "error": 502, "info": {"type": "Network", "code": 6, "url": "https://www.google.com/", "text": "SSL handshake failed"}}
但是有了这个(来自docker容器):
curl -x usa.shared.proxyrack.net:40003 -U username:password https://www.google.com
我得到了成功的答复。