根据熊猫中的csv文件名重命名列

Question

鉴于我正在读取N个csv文件，并将它们合并到单个Pandas DataFrame中，例如：

dfs = [pd.read_csv(f) for f in list_of_files]
df = pd.concat(dfs, axis=1)

如何重命名每个文件中的列，使其包含基于文件名的后缀？

例如，如果文件f1和f2具有以下内容：

f1：

A
1
2
3

f2：

B
4
5
6

然后上面的列concat产生：

A  B
1  4
2  5
3  6

...但我想要：

A_f1  B_f2
   1     4
   2     5
   3     6

Answer 1

将dfs更改为dict

dfs = {'f'+str(i+1) : pd.read_csv(f) for i,f in enumerate(list_of_files)}

然后使用cancat

s=pd.concat(dfs,1)
s.columns=s.columns.map('{0[1]}_{0[0]}'.format) 
s
Out[311]: 
   A_f1  B_f2
0     1     4
1     2     5
2     3     6

Answer 2

您可以使用add_suffix，例如：

dfs = [pd.read_csv(f).add_suffix('-' + str(f)) for f in list_of_files]

Answer 3

您可以在使用suffixes之前将pd.concat添加到df中：

lst_dfs = []

for file in list_of_files:
    df = pd.read_csv(file)
    df = df.add_suffix(f'_{file}')
    lst_dfs.append(df)

df_all = pd.concat(lst_dfs, axis=1)

修改

包含两个csv文件的小型测试

list_of_files = ['table1.csv', 'table2.csv']

lst_dfs = []

for file in list_of_files:
    df = pd.read_csv(file, sep='|')
    df = df.add_suffix(f'_{file}')
    lst_dfs.append(df)

df_all = pd.concat(lst_dfs, axis=1)

#Optional to remove the filename extension
df_all.columns = df_all.columns.str.replace('.csv', '')

print(df_all)
  key_table1  value_table1 key_table2  value_table2
0          A     -0.323896          B      0.050969
1          B      0.073764          D     -0.228590
2          C     -0.798652          E     -2.160319
3          D      0.970627          F     -0.213936