将Python中传入的csv文件追加到主数据框

时间:2018-10-01 23:48:05

标签: python pandas csv

我有每小时在特定目录中填充的这些数据导出,并且我希望有一个脚本可以读取所有文件并将它们附加到Python中的一个主数据帧中。唯一的问题是,由于它们每小时都在填充,因此我不想将现有或已经添加的csv文件附加到主数据帧。

我是Python的新手,到目前为止,只能使用以下代码将目录中的所有文件加载并追加到文件中:

import pandas as pd
import os
import glob

path = os.environ['HOME'] + "/file_location/"
allFiles = glob.glob(os.path.join(path,"name_of_files*.csv"))
df = pd.concat((pd.read_csv(f) for f in allFiles), sort=False)

使用上面的代码,它会查找file_location并导入名称为“ name_of_files”的所有文件,并使用通配符,因为每个文件的尾部都不同。

我可以继续这样做,但是我实际上将拥有数百个文件,并且不想导入所有文件并每个小时追加/合并它们。为了避免这种情况,我希望拥有上述的主数据框架,而只是每个小时填充一次新的csv文件,以自动将其附加到现有的主df中。

对于Python来说还是超级新手,所以甚至不确定下一步该怎么做。任何建议将不胜感激!

0 个答案:

没有答案