分块解析大型json响应

时间:2018-09-07 23:36:04

标签: python json python-3.x parsing chunks

有没有一种可接受的方法来解析Python中的大型json响应/文件?明确地说,我的意思是:

  1. 数据无法一次全部加载到内存中。
  2. 除了合法的json之外,您对数据一无所知。
  3. 输出格式应该易于读取(例如,以换行符或YAMl分隔)。

    这是经典的json问题,我也看到过很多其他的帖子,但是它们通常围绕特定的json表示。这里的键是您对json一无所知

    我知道如何自己构建一个解析器来完成此操作,但这确实很麻烦。我希望已经有一个可接受的Python解决方案。

    谢谢。

1 个答案:

答案 0 :(得分:0)

您可以尝试ijson。它提供了基于事件的迭代器,比从头开始编写自己的迭代器要容易。