Question

我正面临一个复杂的问题。我有一个拥有客户的第一个数据框（请注意，ClientID不是唯一的，您可以将相同的ClientID与不同的TestDate关联）：

df1：

ClientID  TestDate
1A        2019-12-24
1B        2019-08-26
1B        2020-01-12

我还有一个“操作”数据框，用于指示日期和涉及哪个客户

df2：

LineNumber  ClientID  Date          Amount
1           1A        2020-01-12    50
2           1A        2019-09-24    15
3           1A        2019-12-25    20
4           1A        2018-12-30    30
5           1B        2018-12-30    60
6           1B        2019-12-12    40

我想要的是在df1中添加一列，该列包含“均值”和“行数”，但仅采用df2行，其中Date

例如，对于客户端1A，我将仅使用LineNumber 2和4（因为第1行和第3行的日期晚于TestDate），然后获得df1的以下输出：

期望的df1：

ClientID TestDate NumberOp MeanOp 1A 2019-12-24 2 22.5 1B 2019-08-26 1 60 1B 2020-01-12 2 50

注意：在1B客户端的第一行中，由于TestDate为2019-08-26，因此只能看到一个操作（LineNumber 6操作在2019-12-12中完成，因此在testDate之后，所以我不这样做）请考虑在内）。

我已经有执行此操作的代码，但是我必须在iterrows上使用df1，这会花费很多时间：

当前代码（有效但很长）：

for index, row in df1.iterrows(): id = row['ClientID'] date = row['TestDate'] df2_known = df2.loc[df2['ClientID'] == id] df2_known = df2_known.loc[df2_known['Date'] < date] df1.loc[index, 'NumberOp'] = df2_known.shape[0] df1.loc[index, 'MeanOp'] = df2_known['Amount'].mean()

我本来想使用聚合以及诸如mean和count之类的命令，但是我必须按日期对每一行进行筛选是一个我不知道的巨大问题。非常感谢您的事先帮助。

编辑：剩余的问题：

答案编辑中给出的解决方法（“如果要保留缺少df2的匹配键”）与我的问题不符。

实际上，如果df2中没有任何运算可用于计算均值和计数，我想避免丢失df1的等效行。我将通过示例向您展示问题：

df = df2.merge(df1, on=['ClientID'], how='right') print(df[df['ClientID'] == '5C']) Output : ClientID TestDate Date Amount 5C 2019-12-12 2020-01-12 50

如果我按照答案中的说明执行groupby和transform，则我的输出将没有任何CliendID == '5C'行，因为Date < TestDate和{{1 }}永远不会发生，所以当我执行Date is null时该行会丢失。我个人希望在最终输出中与df = df[(df['Date']<df['TestDate']) | (df['Date'].isnull())]保持一行，就像这样：

CliendID == '5C'

Answer 1

您可以合并和转换：

df = df2.merge(df1, on=['ClientID'])
#filter based on condition
df = df[df['Date']<df['TestDate']]
#get the mean and count into new columns
df['MeanOp'] = df.groupby(['ClientID'])['Amount'].transform('mean')
df['NumberOp'] = df.groupby(['ClientID'])['Amount'].transform('count')
#drop duplicates and irrelevant columns
df = df.drop(['Amount','Date','LineNumber'],1).drop_duplicates()

输出：

  ClientID    TestDate  MeanOp  NumberOp
1       1A  2019-12-24    22.5         2
4       1B  2019-08-26    70.0         1

编辑：如果您要保留df2缺少的匹配键：

df = df2.merge(df1, on=['ClientID'], how='right')
df = df[(df['Date']<df['TestDate']) | (df['Date'].isnull())]
df['MeanOp'] = df.groupby(['ClientID'])['Amount'].transform('mean')
df['NumberOp'] = df.groupby(['ClientID'])['Amount'].transform('count')
df = df.drop(['Amount','Date','LineNumber'],1).drop_duplicates()

示例：

df1:

  ClientID    TestDate
0       1A  2019-12-24
1       1B  2019-08-26
2       1C  2019-08-26

output:

  ClientID    TestDate  MeanOp  NumberOp
1       1A  2019-12-24    22.5         2
4       1B  2019-08-26    70.0         1
5       1C  2019-08-26     NaN         0

更新：如果您想按(Client_ID, TestDate)对它们进行分组，则基于帖子上的编辑：

df = df2.merge(df1, on=['ClientID'], how='right')
df = df[(df['Date']<df['TestDate']) | (df['Date'].isnull())]
df['MeanOp'] = df.groupby(['ClientID','TestDate'])['Amount'].transform('mean')
df['NumberOp'] = df.groupby(['ClientID','TestDate'])['Amount'].transform('count')
df = df.drop(['Amount','Date','LineNumber'],1).drop_duplicates()

输出：

df1
  ClientID    TestDate
0       1A  2019-12-24
1       1B  2019-08-26
2       1B  2020-01-12
3       1C  2019-08-26

df2
   LineNumber ClientID        Date  Amount
0           1       1A  2020-01-12      50
1           2       1A  2019-09-24      15
2           3       1A  2019-12-25      20
3           4       1A  2018-12-30      30
4           5       1B  2018-12-30      60
5           6       1B  2019-12-12      40

df
  ClientID    TestDate  MeanOp  NumberOp
1       1A  2019-12-24    22.5         2
4       1B  2019-08-26    60.0         1
6       1B  2020-01-12    50.0         2
8       1C  2019-08-26     NaN         0

每个值都取决于另一个df查询的熊猫列

1 个答案: