连接和过滤带有额外共享变量的两个重叠DataFrame的更快方法

时间:2019-02-21 11:55:05

标签: python pandas merge

这个问题是我问的here的“续集”。我有2个看起来像这样的DataFrame:

df1 =
               Timestamp    CP_ID  Con  Value
0   2018-01-02 07:30:00.000 3107    1   6275.20
1   2018-01-02 07:45:00.000 3107    1   6275.95
2   2018-01-02 08:00:00.000 3107    1   6276.70
3   2018-01-02 08:15:00.000 3107    1   6277.45
4   2018-01-02 08:30:00.000 3107    1   6278.19

df2 =
          dStart                dEnd        CP_ID   Con A_Id
0   2018-03-12 18:58:53 2018-03-12 21:19:33 30554   1   03FC4BA8
1   2018-04-16 17:53:25 2018-04-16 20:22:52 30554   1   03FC4BA8
2   2018-05-10 19:19:47 2018-05-10 21:28:04 30554   1   03FC4BA8
3   2018-05-26 18:03:19 2018-05-26 20:49:23 30553   1   03FC4BA8
4   2018-08-10 18:26:29 2018-08-10 20:57:15 30827   1   03FC4BA8

df2是所有用户的所有会话的列表(每个会话的dStart / dEnd)。

df1是用户特定的会话信息(每个会话的时间戳记)。

CP_ID和Con指定一个唯一的位置。

A_Id指定一个唯一的用户。

我想合并这两个表,以便保留给定用户会话的所有信息。正如Wen-Ben在我之前的文章中所提出的,目前的解决方案是:

df = pd.merge(df2,df1,how='left',left_on=['CP_ID','Con'], \
                      right_on=['CP_ID','Con'])

df = df.loc[(df.Timestamp>df.dStart)&(df.Timestamp<df.dEnd)]

这完成了任务,但是我的问题是它花费了相对较长的时间。我需要为成千上万的用户执行此操作,而且两个步骤(.merge和.loc)都占用了脚本运行时间的很大一部分。

是否有更有效的方法?

0 个答案:

没有答案