Scrapinghub抓取0页(每页0页)

时间:2017-12-04 12:08:13

标签: python python-3.x scrapy scrapinghub

我开发了一个简单的scrapy项目来抓取一个网站。爬虫在我的本地计算机上工作正常,但当我尝试将其部署到scrapinghub.com提供的Scrapy云时,蜘蛛显示0页爬行,180秒后(默认超时)它停止。有什么问题呢?我可以尝试增加超时但我想180秒。是一个足够长的时间让爬虫从网站获得回复。

0 个答案:

没有答案