如何将熊猫数据帧一行一行地写入CSV文件?

时间:2018-07-12 03:08:41

标签: python pandas read-write writetofile

我有大约一百万个地址的列表,以及一个查找其纬度和经度的函数。由于某些记录的格式不正确(或出于任何原因),因此有时该函数无法返回某些地址的纬度和经度。这将导致for循环中断。因此,对于成功检索到纬度和经度的每个地址,我想将其写入输出CSV文件。或者,也许不是逐行写入,而是以小块大小写入也可以。为此,我在“追加”模式(df.to_csv)中使用mode='a',如下所示:

for i in range(len(df)):
    place = df['ADDRESS'][i]
    try:
        lat, lon, res = gmaps_geoencoder(place)
    except:
        pass

    df['Lat'][i] = lat
    df['Lon'][i] = lon
    df['Result'][i] = res

    df.to_csv(output_csv_file,
          index=False,
          header=False,
          mode='a', #append data to csv file
          chunksize=chunksize) #size of data to append for each loop

但是问题是,它正在为每个追加打印整个数据帧。因此,对于n行,它将写入整个数据帧n^2次。该如何解决?

1 个答案:

答案 0 :(得分:2)

如果您真的要逐行打印。 (您不应该)。

for i in range(len(df)):
    df.loc[[i]].to_csv(output_csv_file,
        index=False,
        header=False,
        mode='a')