标签： https web-scraping scrapy timeout web-crawler
我正在使用scrapy抓取工具来抓取https网站。 crawlera在http网站上可以正常工作，但是当涉及到https时，它会不断超时。我按照他们的指南导入了crawlera证书，但这没有用，即使他们的网站https://support.scrapinghub.com/support/solutions/articles/22000188407-crawlera-with-https中包含了示例测试，我仍然遇到超时问题。我正在使用Ubuntu 16.04。