将数据加载到列表中时出现Python内存错误

时间:2018-05-18 10:05:32

标签: python json memory

我正在使用JSON Files,并尝试将整合的JSON文件拆分为单个文件。但是当源文件大小为503308 kb时,我的python代码给出了错误。我已经尝试过使用Pycharm和Cmd提示符,但它不适用于我。 以下是错误 - 第67行,在_buffer_decode中     codecs.utf_8_decode(输入[3:],错误,最终) 的MemoryError

我一直在寻找解决方案,但没有什么对我有用。 任何有关这方面的帮助将不胜感激。 非常感谢提前:)

import json
import glob

s_path = "D:\\User\\Desktop\\users\\SourceFolder\\"
extension = "*.json"
for file in glob.iglob(s_path+extension):
    with open(file, encoding="utf-8-sig") as json_data:


        d_list = json.load(json_data)
        item_count = len(d_list)
        target_path = 'D:\\Desktop\\users\\DumpingFolder\\'
        print(item_count)
        for item in d_list:
            file_name = "Raw_Response_" + str(item['id']) + ".json"
            print(file_name)
            with open(target_path+file_name, 'w+') as file_obj:
                json.dump(item, file_obj, indent=2, sort_keys=False)

0 个答案:

没有答案