用于在scrapy中解析JSON的蜘蛛

Question

我一直在使用scrapy一段时间了，我想知道解析JSON的最佳方法是什么。在scrapy中有专门为XML和CSV设计的蜘蛛。 XMLFeedSpider和CSVFeedSpider。 JSON还有这样的蜘蛛吗？

Answer 1

Scrapy没有默认的JSON解析器，但您可以使用json模块来解析您的响应并将其转换为项目：

jsonresponse = json.loads(response.body_as_unicode())

但是，如果您打算编写像CSVFeedSpider这样的通用解决方案，请随时将其贡献给Scrapy项目，但我想json.loads可以解决使用JSON响应的问题。