模拟excel sumifs /多标准索引与python / pandas中的数据帧匹配

时间:2018-01-23 20:12:08

标签: python excel pandas dataframe sumifs

我在使用pandas的python中有两个数据帧:

  • df1:[233,500 x 6]按日期划分的价格分类
  • df2:[1,665,997 x 5]按日期划分的客户使用分类帐

在excel中的较小数据集上,我可以简单地执行以下操作,在df2上创建一个列,其中包含给定日期和行的每个产品价格。

=SUMIFS(df1[Rate],df1[Date],[@Date],df1[Jurisdiction],[@Jurisdiction],df1[Product],[@Product])

最终我想在df2中添加一个列(或者使用结果创建一个新的数据框),通过匹配每行中的一些条件( Jurisdiction,Product Type )来提供价格。价格分类帐df1。

使用python和dataframe关联此数据的最合适方法是什么?某种字典和连接?

我发现的例子主要是在某些条件下处理求和:

奖励:df1和df2中的日期并不总是相同。将df2中的日期与最近的价格分类日期相匹配将需要进行。

编辑:我在下面添加了简化数据,以演示我是如何尝试进行最新的日期匹配。日期匹配只是在df2中查找每个日期的有效价格的中间步骤。两个日期列上的直接合并不起作用,因为不是每天都提供价格。

df1:
Date       Price
1/11/2016  5.00
1/12/2016  5.50
1/13/2016  6.00
1/14/2016  7.00
1/16/2016  8.00
1/20/2016  9.00
1/21/2016  10.00
1/22/2016  11.00

df2:
Date       Volume
1/11/2016  100
1/15/2016  100
1/17/2016  200
1/18/2016  300
1/20/2016  200

df3: (df2 with date matching. Cost = Volume*Price)
Date       Volume  MatchedDate  Price  Cost
1/11/2016  100     1/11/2016    5.00   500
1/15/2016  100     1/14/2016    7.00   700
1/17/2016  200     1/16/2016    8.00   1600
1/18/2016  300     1/16/2016    8.00   2400
1/20/2016  200     1/20/2016    9.00   1800

编辑2:以下工作的第一部分中提供的公式,在excel中,使用一些额外的逻辑来使用第一个df1条目之前的df2条目的第一个日期。 https://www.extendoffice.com/documents/excel/2601-excel-find-closest-date.html

{=MAX((df1[Date]<[@Date])*df1[Date])}

1 个答案:

答案 0 :(得分:2)

只需在匹配条件上合并两组,然后运行groupby总和:

merged_df = pd.merge(df1, df2, on=['date', 'Jurisdiction', 'Product'])

merged_df.groupby(['date', 'Jurisdiction', 'Product'])['Rate'].sum()

或者最近的日期 df2

most_recent_df2 = df2.merge(df2.groupby(['Jurisdiction', 'Product'])['date'].max().reset_index(), 
                            on=['date', 'Jurisdiction', 'Product'])

merged_df = pd.merge(df1, most_recent_df2, on=['Jurisdiction', 'Product'], suffixes=['', '_'])

merged_df.groupby(['date', 'Jurisdiction', 'Product'])['Rate'].sum()