根据某些NaN值拆分大型csv文件

时间:2018-06-18 22:49:19

标签: pandas csv

有一个巨大的文件,几乎达到1000万行,我想根据给定列的值进行拆分。一个表示内部测量(在房屋内),另一个表示外部数据(外部)。这个代码需要太长时间才能拆分,任何想法?

fext = open('external.csv', 'a')
fint = open('internal.csv', 'a')

for df in pd.read_csv('todo.csv', parse_dates=['Measured At'], 
                  low_memory=False, chunksize=500000):
    dfExt = df[df['Temperatura Exterior'].notnull()]
    dfInt = df[df['Temperatura Exterior'].isnull()]
    dfExt.to_csv(fext,header=False)
    dfInt.to_csv(fint,header=False)

fext.close();fint.close()    

0 个答案:

没有答案