如何有效地在python中读取和写入大型JSON文件？

Question

我一直在尝试读取和写入大型JSON数据文件。 Python的内置json库非常慢，当我尝试读取大的json文件时，我得到了MemoryError

Answer 1

python的json模块的问题在于它是纯python，因此在大型JSON文件上运行起来非常慢。您可能要使用ujson，它是用C / C ++编写的，可编译为本机代码。

Answer 2

有许多可用于文件处理的库，我最喜欢的库之一是“熊猫”。 本教程可能会有所帮助。 https://www.dataquest.io/blog/python-json-tutorial/

，官方文档始终是最好的。 https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html

Answer 3

使用json

import json
json_string = open('filename','r').read() # '{"name":12}'

parsed_json = json.loads(json_string) #Convert To Dictionary