我有不同的数据框，需要根据日期列将它们合并在一起。如果我只有两个数据帧，我可以使用df1.merge(df2, on='date')，使用三个数据帧，我使用df1.merge(df2.merge(df3, on='date'), on='date')，但是使用多个数据帧变得非常复杂且难以理解。
所有数据框都有一个共同的列 - date，但它们没有相同数量的行或列，我只需要每个日期对每个数据帧都是通用的那些行。
所以，我正在尝试编写一个递归函数，它返回一个包含所有数据的数据帧，但它不起作用。那我该如何合并多个数据帧呢？
我尝试了不同的方法并遇到了out of range，keyerror 0/1/2/3和can not merge DataFrame with instance of type <class 'NoneType'>等错误。
这是我写的剧本：
dfs = [df1, df2, df3] # list of dataframes
def mergefiles(dfs, countfiles, i=0):
if i == (countfiles - 2): # it gets to the second to last and merges it with the last
return
dfm = dfs[i].merge(mergefiles(dfs[i+1], countfiles, i=i+1), on='date')
return dfm
print(mergefiles(dfs, len(dfs)))
一个例子： df_1：
May 19, 2017;1,200.00;0.1%
May 18, 2017;1,100.00;0.1%
May 17, 2017;1,000.00;0.1%
May 15, 2017;1,901.00;0.1%
df_2：
May 20, 2017;2,200.00;1000000;0.2%
May 18, 2017;2,100.00;1590000;0.2%
May 16, 2017;2,000.00;1230000;0.2%
May 15, 2017;2,902.00;1000000;0.2%
df_3：
May 21, 2017;3,200.00;2000000;0.3%
May 17, 2017;3,100.00;2590000;0.3%
May 16, 2017;3,000.00;2230000;0.3%
May 15, 2017;3,903.00;2000000;0.3%
预期的合并结果：
May 15, 2017; 1,901.00;0.1%; 2,902.00;1000000;0.2%; 3,903.00;2000000;0.3%
答案 0 :(得分：31)
如果不涉及复杂查询，下面是合并多个数据帧的最简洁，最易理解的方法。
只需简单地与 DATE 合并作为索引，然后使用 OUTER 方法进行合并（以获取所有数据）。
import pandas as pd
from functools import reduce
df1 = pd.read_table('file1.csv', sep=',')
df2 = pd.read_table('file2.csv', sep=',')
df3 = pd.read_table('file3.csv', sep=',')
因此，基本上将您拥有的所有文件作为数据框加载。然后使用merge或reduce函数合并文件。
# compile the list of dataframes you want to merge
data_frames = [df1, df2, df3]
您可以在上面的代码中添加任意数量的数据框。这是此方法的好处。不涉及复杂的查询。
要保留属于同一日期的值，您需要将其合并到DATE
df_merged = reduce(lambda left,right: pd.merge(left,right,on=['DATE'],
how='outer'), data_frames)
# if you want to fill the values that don't exist in the lines of merged dataframe simply fill with required strings as
df_merged = reduce(lambda left,right: pd.merge(left,right,on=['DATE'],
how='outer'), data_frames).fillna('void')
然后根据需要将合并数据写入csv文件。
pd.DataFrame.to_csv(df_merged, 'merged.txt', sep=',', na_rep='.', index=False)
这应该给你
DATE VALUE1 VALUE2 VALUE3 ....
答案 1 :(得分：7)
看起来数据具有相同的列，因此您可以：
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)
merged_df = pd.concat([df1, df2])
答案 2 :(得分：3)
有两个解决方案，但它分别返回所有列：
import functools
dfs = [df1, df2, df3]
df_final = functools.reduce(lambda left,right: pd.merge(left,right,on='date'), dfs)
print (df_final)
date a_x b_x a_y b_y c_x a b c_y
0 May 15,2017 900.00 0.2% 1,900.00 1000000 0.2% 2,900.00 2000000 0.2%
k = np.arange(len(dfs)).astype(str)
df = pd.concat([x.set_index('date') for x in dfs], axis=1, join='inner', keys=k)
df.columns = df.columns.map('_'.join)
print (df)
0_a 0_b 1_a 1_b 1_c 2_a 2_b 2_c
date
May 15,2017 900.00 0.2% 1,900.00 1000000 0.2% 2,900.00 2000000 0.2%
答案 3 :(得分：2)
@ dannyeuu的回答是正确的。如果将axis选项设置为1，pd.concat自然会在索引列上进行连接。默认为外连接，但您也可以指定内连接。这是一个例子：
x = pd.DataFrame({'a': [2,4,3,4,5,2,3,4,2,5], 'b':[2,3,4,1,6,6,5,2,4,2], 'val': [1,4,4,3,6,4,3,6,5,7], 'val2': [2,4,1,6,4,2,8,6,3,9]})
x.set_index(['a','b'], inplace=True)
x.sort_index(inplace=True)
y = x.__deepcopy__()
y.loc[(14,14),:] = [3,1]
y['other']=range(0,11)
y.sort_values('val', inplace=True)
z = x.__deepcopy__()
z.loc[(15,15),:] = [3,4]
z['another']=range(0,22,2)
z.sort_values('val2',inplace=True)
pd.concat([x,y,z],axis=1)
答案 4 :(得分：2)
functools.reduce 和 pd.concat 是很好的解决方案，但是就执行时间而言pd.concat是最好的。
from functools import reduce
import pandas as pd
dfs = [df1, df2, df3, ...]
nan_value = 0
# solution 1 (fast)
result_1 = pd.concat(dfs, join='outer', axis=1).fillna(nan_value)
# solution 2
result_2 = reduce(lambda left,right: pd.merge(df_left, df_right,
left_index=True, right_index=True,
how='outer'),
dfs).fillna(nan_value)
答案 5 :(得分：2)
另一种组合方式：functools.reduce
来自文档：
<块引用>例如，reduce(lambda x, y: x+y, [1, 2, 3, 4, 5]) 计算 ((((1+2)+3)+4)+5)。左边的参数 x 是累加值，右边的参数 y 是可迭代对象的更新值。
所以：
from functools import reduce
dfs = [df1, df2, df3, df4, df5, df6]
df_final = reduce(lambda left,right: pd.merge(left,right,on='some_common_column_name'), dfs)
答案 6 :(得分：1)
如果您按普通日期过滤，则会将其返回：
dfs = [df1, df2, df3]
checker = dfs[-1]
check = set(checker.loc[:, 0])
for df in dfs[:-1]:
check = check.intersection(set(df.loc[:, 0]))
print(checker[checker.loc[:, 0].isin(check)])
答案 7 :(得分：1)
看看这个pandas three-way joining multiple dataframes on columns
filenames = ['fn1', 'fn2', 'fn3', 'fn4',....]
dfs = [pd.read_csv(filename, index_col=index_col) for filename in filenames)]
dfs[0].join(dfs[1:])
答案 8 :(得分：1)
@everestial007 的解决方案对我有用。这就是我为我的用例改进它的方法，即让每个不同 df 的列具有不同的后缀，以便我可以更轻松地区分最终合并数据帧中的 dfs。
from functools import reduce
import pandas as pd
dfs = [df1, df2, df3, df4]
suffixes = [f"_{i}" for i in range(len(dfs))]
# add suffixes to each df
dfs = [dfs[i].add_suffix(suffixes[i]) for i in range(len(dfs))]
# remove suffix from the merging column
dfs = [dfs[i].rename(columns={f"date{suffixes[i]}":"date"}) for i in range(len(dfs))]
# merge
dfs = reduce(lambda left,right: pd.merge(left,right,how='outer', on='date'), dfs)
答案 9 :(得分：0)
感谢您的帮助 @jezrael ， @zipa 和 @ everestial007 ，这两个答案都是我需要的。如果我想做一个递归，这也可以按预期工作：
def mergefiles(dfs=[], on=''):
"""Merge a list of files based on one column"""
if len(dfs) == 1:
return "List only have one element."
elif len(dfs) == 2:
df1 = dfs[0]
df2 = dfs[1]
df = df1.merge(df2, on=on)
return df
# Merge the first and second datafranes into new dataframe
df1 = dfs[0]
df2 = dfs[1]
df = dfs[0].merge(dfs[1], on=on)
# Create new list with merged dataframe
dfl = []
dfl.append(df)
# Join lists
dfl = dfl + dfs[2:]
dfm = mergefiles(dfl, on)
return dfm
答案 10 :(得分：0)
对我来说，索引在没有明确说明的情况下被忽略。示例：
> x = pandas.DataFrame({'a': [1,2,2], 'b':[4,5,5]})
> x
a b
0 1 4
1 2 5
2 2 5
> x.drop_duplicates()
a b
0 1 4
1 2 5
（尽管索引不同，但删除了重复的行）