Python:如何将大型压缩csv文件转换为字典?

时间:2017-04-07 03:45:02

标签: python csv dictionary

我有以下代码将csv文件转换为字典。

with open(filename, encoding='utf-8') as file:
    dictReader = csv.DictReader(file)

    for row in dictReader: 
        #Do Work

这些csv文件到达拉链,所以我想我会尝试修改代码以将压缩的csv文件读入字典。事情变得棘手,因为据我了解,当在zip存档中打开文件时,文件以字节而不是文本打开。我让它在我读取整个文件的地方工作,并将其转换为文本,但后来我点击了一个大文件并出现内存错误。所以我更新了代码,一次一行地读取文件,现在我怀疑我必须手动构建字典,但我觉得这里值得问。

感谢pmsh.93,我现在已经开始工作了。

with zipfile.ZipFile(filename) as zipFile:
    for fname in zipFile.infolist():
        with zipFile.open(fname) as file:
            file = io.TextIOWrapper(file, encoding="utf-8")

            for row in csv.DictReader(file):
                #Do Work

0 个答案:

没有答案