scrapy crawl MySpider -o items.json每行输出一个json对象

时间:2014-09-04 07:53:14

标签: python json scrapy web-crawler

这是我得到的(不是有效的json对象):

{"id": 1, "name": John}
{"id": 2, "name": Tom}

这就是我想得到的(有效的json对象):

[{"id": 1, "name": John},
{"id": 2, "name": Tom}]

我希望能够直接使用scrapy的命令行工具(抓取)来实现。

1 个答案:

答案 0 :(得分:2)

您需要使用JsonItemExporter而不是JsonLinesItemExporter。但请注意,JsonLines导出器对于大型输出文件要好得多,因为您可以将文件解析为流。