有一个巨大的文件,几乎达到1000万行,我想根据给定列的值进行拆分。一个表示内部测量(在房屋内),另一个表示外部数据(外部)。这个代码需要太长时间才能拆分,任何想法?
fext = open('external.csv', 'a')
fint = open('internal.csv', 'a')
for df in pd.read_csv('todo.csv', parse_dates=['Measured At'],
low_memory=False, chunksize=500000):
dfExt = df[df['Temperatura Exterior'].notnull()]
dfInt = df[df['Temperatura Exterior'].isnull()]
dfExt.to_csv(fext,header=False)
dfInt.to_csv(fint,header=False)
fext.close();fint.close()