如何处理最终刮刀导致Scrapy?

时间:2017-11-24 17:49:20

标签: python scrapy scrapy-spider

假设我正在解析列表页面并生成JSON输出。在解析所有内容的最后,我想对最终的结果进行一些操作。我怎么能在Scrapy中做到这一点?我知道process_item,但它适用于迭代中的每个项目。我找到的封闭式内容是close_spider,但我不确定如果我运行scrapy crawl spider它是否会给我closed_spider创建的JSON?如果是,那么如何?

1 个答案:

答案 0 :(得分:0)

你可以继承JsonItemExporter覆盖finish_exporting方法来处理最终的json文件