标签： python web-scraping scrapy
我们通过100个代理池运行Scrapy 0.24.4，并且无法抓取HTTPS链接。我们经常收到以下异常：“无法打开CONNECT隧道”。我知道当Scrapy无法与我们的代理协商HTTP CONNECT隧道时会发生这种情况，但我不知道为什么。
我可以使用.NET堆栈通过相同的代理池成功抓取完全相同的URL，而不是使用Scrapy。环境是Ubuntu 14.04。