如何在'OSError:[Errno 28]上最好地处理Scrapy缓存设备'没有剩余空间?

时间:2018-03-31 14:36:50

标签: python caching scrapy alpine tmpfs

如果Scrapy因例外而失败,建议采取的行动是什么:

  

OSError:[Errno 28]设备上没有剩余空间

Traceback (most recent call last):
  File "/usr/lib/python3.6/site-packages/twisted/internet/defer.py", line 1386, in _inlineCallbacks
    result = g.send(result)
  File "/usr/lib/python3.6/site-packages/scrapy/core/downloader/middleware.py", line 53, in process_response
    spider=spider)
  File "/usr/lib/python3.6/site-packages/scrapy/downloadermiddlewares/httpcache.py", line 86, in process_response
    self._cache_response(spider, response, request, cachedresponse)
  File "/usr/lib/python3.6/site-packages/scrapy/downloadermiddlewares/httpcache.py", line 106, in _cache_response
    self.storage.store_response(spider, request, response)
  File "/usr/lib/python3.6/site-packages/scrapy/extensions/httpcache.py", line 317, in store_response
    f.write(to_bytes(repr(metadata)))
OSError: [Errno 28] No space left on device

在这种特定情况下,限制为128 MB的ramdisk / tmpfs用作缓存磁盘, httpcache.FilesystemCacheStorage

上的scrapy设置 HTTPCACHE_EXPIRATION_SECS = 300
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 300
HTTPCACHE_DIR = '/tmp/ramdisk/scrapycache' # (tmpfs on /tmp/ramdisk type tmpfs (rw,relatime,size=131072k))
HTTPCACHE_IGNORE_HTTP_CODES = ['400','401','403','404','500','504']
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

我可能错了,但我得到的印象是Scrapy的 FilesystemCacheStorage 可能无法管理它的缓存(存储限制) (?)< / em>。

使用LevelDB可能会更好吗?

1 个答案:

答案 0 :(得分:0)

你是对的。缓存过期后不会删除任何内容。 HTTPCACHE_EXPIRATION_SECS设置仅决定是否对所有HTTPCACHE_STORAGE使用缓存响应或重新下载。

如果缓存数据非常大,则应考虑使用DB来存储而不是本地文件系统。或者您可以扩展后端存储以添加LoopingCall任务以连续删除过期的缓存。

为什么scrapy会保留被忽略的数据?

我认为有两点:

  • HTTPCACHE_EXPIRATION_SECS控制是使用缓存响应还是重新下载,它只保证您使用无到期缓存。不同的蜘蛛可能会设置不同的expiration_secs,删除缓存会使缓存混乱。

  • 如果你想删除过期的缓存,需要一个LoopingCall任务来连续检查过期的缓存,它会使scrapy扩展更复杂,而不是scrapy想要的。