Question

我有一个看起来像这样的数据框：

Id   Day1   Day2   Day3 
1    0.35   0.32   0.29  
2    0.63   0.59   0.58
3    0.12   0.10   0.07

此表显示每条记录每天发生某事件的概率。

我要搜索的是一个python函数，它将为我提供在任意日发生的事件的累积概率。输出看起来像这样：

Id   Day1   Day2   Day3  Cum_Prob
1    0.35   0.32   0.29  0.686
2    0.63   0.59   0.58  0.983
3    0.12   0.10   0.07  0.263

上面的示例表中的Cum_Prob值是正确的，即，它们是每个Id值在3天中的任何一天发生的实际概率。

我可以自己编写几天该函数。实际上，我要处理的时间超过3天，而且我相信手写很多天的功能将非常繁琐。

是否存在一个可以通过输入单个概率来计算概率的函数？还是有一种快速的方法可以在x天之内为此编写udf？

Answer 1

使用：

df['Cum_Prob'] = df.iloc[:, 1:].sum(axis=1)

或

df['Cum_Prob'] = df[df.columns[df.columns.str.contains('Day')]].sum(axis=1)

编辑

df_days = df[df.columns[df.columns.str.contains('Day')]]
cumprob=0
for i, col in df_days.items():
    cumprob = col.mul(1-cumprob) + cumprob

df['Cum_Prob']=cum_Prob

输出

   Id  Day1  Day2  Day3  Cum_Prob
0   1  0.35  0.32  0.29  0.686180
1   2  0.63  0.59  0.58  0.936286
2   3  0.12  0.10  0.07  0.263440

替代减少

from functools import reduce
df['Cum_Prob']=reduce(lambda cum_prob, new_prob: (1-cum_prob)*new_prob + cum_prob ,
                      df_days.values.T)

减少速度最快

%%timeit
from functools import reduce
df['Cum_Prob']=reduce(lambda cum_prob, new_prob: (1-cum_prob)*new_prob + cum_prob ,
                      df_days.values.T)
111 µs ± 2.29 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

%%timeit
cumprob=0
for i, col in df_days.items():
    cumprob = col.mul(1-cumprob) + cumprob
df['Cum_Prob']=cumprob
1.44 ms ± 5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

Answer 2

只需一点数学，

1 - (1-df).prod(1)
# if your `Id` is not index:
# 1 - df.filter(like='days)
# 1 - df.set_index('Id')

输出：

Id
1    0.686180
2    0.936286
3    0.263440
dtype: float64

是否有用于累积概率的python函数

2 个答案: