我的python代码精确地写入20GB的csv文件,为什么?

时间:2019-05-14 21:13:05

标签: python csv

我通过附加其他csv文件来编写大型csv文件。更具体地说,我将日数据附加到月数据中。 我注意到它生成的文件大小恰好为20GB,但我感到困惑。我检查了原始数据的大小,该数据小于20GB(每个数据分别为18.7GB和19.7GB),并且我期望该大小应该非常相似,或者更小(因为除了第一个之外,我不包括标头) )。但是,我每个人都有20.00GB。我对结果数据的质量感到怀疑。

下面是运行的代码。

for k in range(9,13):
    folderpath = cwd + '\\2017_{}'.format(k)
    allFiles = sorted(glob.glob(path + '\\*'), key=lambda x: x[:-5])
    with open('outfile_2017_{}.csv'.format(k),'w', encoding='utf-8') as outfile:
        for i, filename in enumerate(allFiles):
            with open(filename,'r', encoding='utf-8') as infile:
                for row, line in enumerate(infile):
                    if (i !=0) and (row ==0):
                        continue
                    outfile.write(line)

这是有原因的,还是我在代码中犯了严重错误?

0 个答案:

没有答案