不能在Scrapinghub上的Scrapy中使用Crawler代理

时间:2016-09-30 10:08:44

标签: python proxy scrapy scrapinghub

我在Scrapinghub云上部署了一个scrapy项目。

如果我不使用代理,该项目将完美运行。

但我必须使用代理。

仅供参考,Crawlera是Scrapinghub的主要项目,我尝试了两种方法在scrapinhgub上使用Crawlera代理

方法1:Addon Setup启用了Crawlera,并通过为其提供API密钥进行配置。

然后部署代码并运行它。我收到了这个错误。

TypeError: to_bytes must receive a unicode, str or bytes object, got NoneTypehere is full error

方法2: 我在settings.py

中添加了此内容
DOWNLOADER_MIDDLEWARES = {'scrapy_crawlera.CrawleraMiddleware': 300}
CRAWLERA_ENABLED = True
CRAWLERA_APIKEY = 'my api key here'

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 32
AUTOTHROTTLE_ENABLED = False
DOWNLOAD_TIMEOUT = 300

但后来我提到同样的错误。

PS:

我确认代理正在运行,我在我的PHP项目中使用它们。

0 个答案:

没有答案