Scrapy意外停止,没有错误

时间:2014-12-01 04:47:36

标签: scrapy web-crawler

每次Scrapy在运行几分钟后停止,我仍然无法弄清楚为什么? 蜘蛛加了69 ,是蜘蛛太多了吗?确实有很多ParseException ......任何帮助都将受到赞赏。

像这样停止

2014-12-01 12:34:06+0800 [scrapy] INFO: info : {'platform_name': '\xe7\xa7\xaf\xe6\x9c\xa8\xe7\x9b\x92\xe5\xad\x90', 'platform': 'jimubox', 'loanId': '13774', 'create_time': 1417408354133}    exception : ParseException('type', 'list index out of range')
2014-12-01 12:34:06+0800 [scrapy] INFO: info : {'platform_name': '\xe7\xa7\xaf\xe6\x9c\xa8\xe7\x9b\x92\xe5\xad\x90', 'platform': 'jimubox', 'loanId': '13773', 'create_time': 1417408354133}    exception : ParseException('type', 'list index out of range')
2014-12-01 12:34:07+0800 [eloancn] INFO: Crawled 19 pages (at 19 pages/min), scraped 0 items (at 0 items/min)
2014-12-01 12:34:09+0800 [qmdai] INFO: Crawled 10 pages (at 10 pages/min), scraped 0 items (at 0 items/min)

scrapy版本:0.24.4

0 个答案:

没有答案