如何在python中缓存提取的数据

Question

我编写了一个刮刀，它从几页中提取数据。现在我意识到它有时会中断（例如互联网削减）并且我丢失了所有（已经）抓取的数据并且必须重新开始抓取过程。

我是否有一个模块或解决方案可以缓存我已经提取的数据，以防脚本再次中断？

最好的问候

Answer 1

我建议您使用scrapy库，它已经实现了多种机制来保存数据并管理您的蜘蛛。