我在Scrapinghub云上部署了一个scrapy项目。
如果我不使用代理,该项目将完美运行。
但我必须使用代理。
仅供参考,Crawlera是Scrapinghub的主要项目,我尝试了两种方法在scrapinhgub上使用Crawlera代理
方法1:
从Addon Setup
启用了Crawlera,并通过为其提供API密钥进行配置。
然后部署代码并运行它。我收到了这个错误。
TypeError: to_bytes must receive a unicode, str or bytes object, got NoneType
(here is full error)
方法2:
我在settings.py
DOWNLOADER_MIDDLEWARES = {'scrapy_crawlera.CrawleraMiddleware': 300}
CRAWLERA_ENABLED = True
CRAWLERA_APIKEY = 'my api key here'
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 32
AUTOTHROTTLE_ENABLED = False
DOWNLOAD_TIMEOUT = 300
但后来我提到同样的错误。
PS:
我确认代理正在运行,我在我的PHP项目中使用它们。