Scrapy - 如何暂停连接丢失并在重新连接时恢复?

时间:2013-12-02 12:00:02

标签: python django web-crawler scrapy

有没有人知道如何在互联网连接丢失时暂停Scrapy抓取工具,并在重新连接时恢复抓取工具?

有一个中间件,我正在调查。另一种选择是 - scrapy crawl somespider -s JOBDIR = crawls / somespider-1

0 个答案:

没有答案