标签: python python-3.x scrapy scrapinghub
我开发了一个简单的scrapy项目来抓取一个网站。爬虫在我的本地计算机上工作正常,但当我尝试将其部署到scrapinghub.com提供的Scrapy云时,蜘蛛显示0页爬行,180秒后(默认超时)它停止。有什么问题呢?我可以尝试增加超时但我想180秒。是一个足够长的时间让爬虫从网站获得回复。