如何找到两个熊猫列之间的最佳匹配?

时间:2019-04-30 00:06:21

标签: python pandas

假设我有两个数据帧df1和df2,如下所示:

df1 = pd.DataFrame({'Timestamp_A': [0.6, 1.1, 1.6, 2.1, 2.6, 3.1, 3.6, 4.1, 4.6, 5.1, 5.6, 6.1, 6.6, 7.1]})
df2 = pd.DataFrame({'Timestamp_B': [2.2, 2.7, 3.2, 3.7, 5.2, 5.7]})


Timestamp_A
0   0.6
1   1.1
2   1.6
3   2.1
4   2.6
5   3.1
6   3.6
7   4.1
8   4.6
9   5.1
10  5.6
11  6.1
12  6.6
13  7.1

Timestamp_B
0   2.2
1   2.7
2   3.2
3   3.7
4   5.2
5   5.7

每个数据帧都是不同传感器读数的输出,并且每个读数都以相同的频率传输。我想做的是将这两个数据帧对齐在一起,以使B中的每个时间戳与A中最接近其值的时间戳对齐。对于Timestamp_A中所有与Timestamp_B不匹配的值,请将其替换为np.nan。有人对采取这样的最佳方法有任何建议吗?这是所需的输出:

    Timestamp_A     Timestamp_B
0   0.6     NaN
1   1.1     NaN
2   1.6     NaN
3   2.1     2.2
4   2.6     2.7
5   3.1     3.2
6   3.6     NaN
7   4.1     NaN
8   4.6     NaN
9   5.1     5.2
10  5.6     5.7
11  6.1     NaN
12  6.6     NaN
13  7.1     NaN

2 个答案:

答案 0 :(得分:4)

您可能想要merge_asof的某些应用程序,例如:

import pandas as pd

df1 = pd.DataFrame({'Timestamp_A': [0.6, 1.1, 1.6, 2.1, 2.6, 3.1, 3.6, 4.1, 4.6, 5.1, 5.6, 6.1, 6.6, 7.1]})
df2 = pd.DataFrame({'Timestamp_B': [2.2, 2.7, 3.2, 3.7, 5.2, 5.7]})

df3 = pd.merge_asof(df1, df2, left_on='Timestamp_A', right_on='Timestamp_B',
                    tolerance=0.5, direction='nearest')

print(df3)

输出如下:

    Timestamp_A  Timestamp_B
0           0.6          NaN
1           1.1          NaN
2           1.6          NaN
3           2.1          2.2
4           2.6          2.7
5           3.1          3.2
6           3.6          3.7
7           4.1          3.7
8           4.6          NaN
9           5.1          5.2
10          5.6          5.7
11          6.1          5.7
12          6.6          NaN
13          7.1          NaN

公差将在数字上定义“不匹配”的含义,由您决定。

答案 1 :(得分:2)

当您只有两个columns和一个值分配时,我觉得reindex更合适

df2.index=df2.Timestamp_B
df1['New']=df2.reindex(df1.Timestamp_A,method='nearest',tolerance=0.5).values
df1
Out[109]: 
    Timestamp_A  New
0           0.6  NaN
1           1.1  NaN
2           1.6  NaN
3           2.1  2.2
4           2.6  2.7
5           3.1  3.2
6           3.6  3.7
7           4.1  3.7
8           4.6  NaN
9           5.1  5.2
10          5.6  5.7
11          6.1  5.7
12          6.6  NaN
13          7.1  NaN

更多列

s=pd.DataFrame(df2.reindex(df1.Timestamp_A,method='nearest',tolerance=0.5).values,index=df1.index,columns=df2.columns)
df1=pd.concat([df1,s],axis=1)