我在Scrapy-Selenium Crawler中使用Crawlera。
但我只需使用法国中的IP。
如何配置我的crawlera来执行此操作。
custom_settings = {
'DOWNLOADER_MIDDLEWARES' : {'scrapy_crawlera.CrawleraMiddleware': 600},
'CRAWLERA_ENABLED' : True,
'CRAWLERA_APIKEY' : //my appikey,
'DOWNLOAD_DELAY' : 0,
'COOKIES_ENABLED' : True,
}
答案 0 :(得分:2)
您必须转到http://app.scrapinghub.com上的Crawlera信息中心并创建一个单独的用户,将'fr'设置为区域。然后,在蜘蛛中使用新的API密钥。