Question

我想知道是否可以使用pandas to_csv()函数将数据帧添加到现有的csv文件中。 csv文件与加载的数据具有相同的结构。

Answer 1

您可以在pandas to_csv函数中指定python写入模式。如果追加它是'a'。

在你的情况下：

df.to_csv('my_csv.csv', mode='a', header=False)

默认模式为'w'。

Answer 2

您可以在追加模式下 opening the file 追加：

with open('my_csv.csv', 'a') as f: df.to_csv(f, header=False)

如果这是你的csv，foo.csv：

,A,B,C 0,1,2,3 1,4,5,6

如果您阅读该内容然后追加，例如df + 6：

In [1]: df = pd.read_csv('foo.csv', index_col=0) In [2]: df Out[2]: A B C 0 1 2 3 1 4 5 6 In [3]: df + 6 Out[3]: A B C 0 7 8 9 1 10 11 12 In [4]: with open('foo.csv', 'a') as f: (df + 6).to_csv(f, header=False)

foo.csv变为：

,A,B,C 0,1,2,3 1,4,5,6 0,7,8,9 1,10,11,12

Answer 3

我使用的一个小帮助函数，带有一些标题检查安全措施来处理它：

def appendDFToCSV_void(df, csvFilePath, sep=","):
    import os
    if not os.path.isfile(csvFilePath):
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep)
    elif len(df.columns) != len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns):
        raise Exception("Columns do not match!! Dataframe has " + str(len(df.columns)) + " columns. CSV file has " + str(len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns)) + " columns.")
    elif not (df.columns == pd.read_csv(csvFilePath, nrows=1, sep=sep).columns).all():
        raise Exception("Columns and column order of dataframe and csv file do not match!!")
    else:
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep, header=False)

Answer 4

with open(filename, 'a') as f:
    df.to_csv(f, header=f.tell()==0)

除非存在，否则创建文件，否则添加
如果正在创建文件，请添加标题，否则请跳过

Answer 5

派对有点晚，但如果您多次打开和关闭文件，或者记录数据，统计数据等，您也可以使用上下文管理器。

from contextlib import contextmanager
import pandas as pd
@contextmanager
def open_file(path, mode):
     file_to=open(path,mode)
     yield file_to
     file_to.close()


##later
saved_df=pd.DataFrame(data)
with open_file('yourcsv.csv','r') as infile:
      saved_df.to_csv('yourcsv.csv',mode='a',header=False)`

Answer 6

最初从pyspark数据帧开始 - 在我的pyspark数据帧中给出了模式/列类型时，我得到了类型转换错误（转换为pandas df＆＃39;然后附加到csv）

解决了这个问题，方法是强制每个df中的所有列都是string类型，然后将其附加到csv，如下所示：

with open('testAppend.csv', 'a') as f:
    df2.toPandas().astype(str).to_csv(f, header=False)

Answer 7

这就是我在 2021 年做到的

假设我有一个包含以下数据的 csv sales.csv：

sales.csv：

Order Name,Price,Qty
oil,200,2
butter,180,10

并添加更多行，我可以将它们加载到数据框中并将其附加到 csv 中，如下所示：

import pandas

data = [
    ['matchstick', '60', '11'],
    ['cookies', '10', '120']
]
dataframe = pandas.DataFrame(data)
dataframe.to_csv("sales.csv", index=False, mode='a', header=False)

输出将是：

Order Name,Price,Qty
oil,200,2
butter,180,10
matchstick,60,11
cookies,10,120

如何将pandas数据添加到现有的csv文件？

7 个答案: