Scrapy和长期爬行

时间:2013-03-26 06:10:45

标签: scrapy

我正在运行一个长时间运行的爬网来下载一段时间后失败的图像(大约一个小时)。我收到以下错误:

[1]+  Killed scrapy crawl myScrapper
Killed

除了被截断的图像之外,我在日志中没有特别的内容:

exceptions.IOError: image file is truncated (1 bytes not processed)

有人有任何想法吗?

谢谢!

0 个答案:

没有答案