Question

我有一个很大的CSV文件。我有一个熊猫数据框，它具有与CSV文件完全相同的列。

我检查了stackoverflow，发现对read_csv提出了几个答案，然后将读取的数据帧与当前的数据帧连接起来，然后写回CSV文件。

但是对于大文件，我认为这不是最好的方法。

我可以在不读取整个文件的情况下将熊猫数据帧连接到现有的CSV文件吗？

更新：示例

import pandas as pd
df1 = pd.DataFramce ({'a':1,'b':2}, index = [0])
df1.to_csv('my.csv')

df2 = pd.DataFrame ({'a':3, 'b':4}, index = [1])
# what to do here? I would like to concatenate df2 to my.csv

预期的my.csv

  a b
0 1 2
1 3 4

Answer 1

请注意在mode='a'中使用to_csv：

MCVE：

df1 = pd.DataFrame ({'a':1,'b':2}, index = [0])
df1.to_csv('my.csv')

df2 = pd.DataFrame ({'a':3, 'b':4}, index = [1])
df2.to_csv('my.csv', mode='a', header=False)

!type my.csv  #Windows machine use 'type' command or on unix use 'cat'

输出：

,a,b
0,1,2
1,3,4

将熊猫数据框连接到CSV文件，而无需读取整个文件

1 个答案: