python读取和拆分2GB文本文件占用28GB的RAM?

时间:2017-10-08 11:06:25

标签: python

我正在尝试读取2GB的文本文件并将其拆分并存储在列表中。问题是这个过程需要大约28GB的RAM,我不知道如何解决它!请帮忙!

corpus = []

with open('path', 'r', encoding='utf8') as file:
    for line in file:
        corpus.append(line.strip().split())

0 个答案:

没有答案