更好的pythonic方法来处理很大的python嵌套defaultdict?

时间:2018-09-30 23:35:31

标签: python python-3.x out-of-memory defaultdict

我正在构建一个嵌套的defaultdict数据结构,如下所示:

pm.globals.set()

逐行处理大文件时。对于每一行处理,我都会执行以下操作:

mydata = defaultdict(lambda: defaultdict(lambda: defaultdict(
    lambda: defaultdict(lambda: defaultdict(lambda: defaultdict(int))))))

在完成文件处理后,我然后遍历嵌套的mydata字典以进行进一步的总结。问题是当文件太大时,字典将占用所有内存,并且变得不可行。您能为我指出一个更好的解决方案吗?

0 个答案:

没有答案