将较大的json文件拆分为较小的文件

Question

我有一个2.37 gb的json文件，约有210万条记录。我想使用jq浏览文件并每100000条记录创建一个新文件。

即

part1.json part2.json part3.json part4.json part5.json 等等

有人用jq做到了吗？

Answer 1

那么可以将jq与split结合使用来写那些文件。

$ jq -nc --stream 'fromstream(1|truncate_stream(inputs))' large_file.json |
    split -dl 100000 -additional-suffix=.json - part