我通过附加其他csv文件来编写大型csv文件。更具体地说,我将日数据附加到月数据中。 我注意到它生成的文件大小恰好为20GB,但我感到困惑。我检查了原始数据的大小,该数据小于20GB(每个数据分别为18.7GB和19.7GB),并且我期望该大小应该非常相似,或者更小(因为除了第一个之外,我不包括标头) )。但是,我每个人都有20.00GB。我对结果数据的质量感到怀疑。
下面是运行的代码。
for k in range(9,13):
folderpath = cwd + '\\2017_{}'.format(k)
allFiles = sorted(glob.glob(path + '\\*'), key=lambda x: x[:-5])
with open('outfile_2017_{}.csv'.format(k),'w', encoding='utf-8') as outfile:
for i, filename in enumerate(allFiles):
with open(filename,'r', encoding='utf-8') as infile:
for row, line in enumerate(infile):
if (i !=0) and (row ==0):
continue
outfile.write(line)
这是有原因的,还是我在代码中犯了严重错误?