使用 ijson 读取和解析 JSON

时间:2021-02-04 14:57:52

标签: python json ijson

我有一些具有以下结构的大型 json 文件:

[
  {
    "url": "",
    "publishedDate": "",
    "modifiedDate": "",
    "title": "",
    "summary": "",
    "content": "",
    "language": "",
    "section": "",
    "tags": [],
    "authors": []
  },
  {
    "url": "",
    "publishedDate": "",
    "modifiedDate": "",
    "title": "",
    "summary": "",
    "content": "",
    "language": "",
    "section": "",
    "tags": [],
    "authors": []
  },
  ...
]

但是使用默认的 python json 库序列化这个大的 JSON 最终会消耗太多内存,所以我已经搜索了其他替代方案。其中之一是 ijson,它应该只消耗与文件大小相同的内存量。

问题是,我不知道如何使用它(从 Java 的角度来看,我是 Python 的新手)而且我发现的大多数教程都没有像上面那样解析 json。如何让 ijson 为 json 列表中的每个项目生成 dictionaries

提前致谢。

0 个答案:

没有答案