Question

我想在大型数据集上使用以下函数，该数据集包含300000行和1500个唯一ID。并如下创建两个新列。下面的函数在整体上应用于数据帧时有效（len（df1））。但是我想根据每个唯一ID的长度来应用它。

d = {'ID':['a12', 'a12','a12','b33','b33','b33','v55','v55','v55','v55'], 'Exp_A':[2.2,2.2,2.2,3.1,3.1,3.1,1.5,1.5,1.5,1.5], 
     'Exp_B':[2.4,2.4,2.4,1.2,1.2,1.2,1.5,1.5,1.5,1.5], 
     'A':[0,0,0,1,0,1,0,1,0,1], 'B':[0,0,1,0,1,0,1,0,1,0]}
df1 = pd.DataFrame(data=d)

def adj_Apois(row):
    i = row.name 
    if row.A == 1:
        return poisson.pmf(row.A, row.Exp_A*(i+1)/len(df1)) * row.Exp_A   
    else:
        return poisson.pmf(row.A, row.Exp_A*(i+1)/len(df1)) * row.Exp_A

def adj_Bpois(row):
    i = row.name 
    if row.B == 1:
        return poisson.pmf(row.B, row.Exp_B*(i+1)/len(df1)) * row.Exp_B
    else:
        return poisson.pmf(row.B, row.Exp_B*(i+1)/len(df1)) * row.Exp_B


df1['New1'] = df1.apply(adj_Apois, axis=1)
df1['New2'] = df1.apply(adj_Bpois, axis=1)

需要出来

用唯一ID的长度替换上面的df1会产生以下

    A   B   Exp_A   Exp_B   ID  new1    new2
0   0   0   2.2      2.4    a12 1.05667 1.07839
1   0   0   2.2      2.4    a12 0.50752 0.48455
2   0   1   2.2      2.4    a12 0.24377 0.86271
3   1   0   3.1      1.2    b33 1.13981 0.80438
4   0   1   3.1      1.2    b33 0.39248 0.43136
5   1   0   3.1      1.2    b33 0.43292 0.36143
6   0   1   1.5      1.5    v55 1.03093 0.3866
7   1   0   1.5      1.5    v55 0.53141 0.70855
8   0   1   1.5      1.5    v55 0.48698 0.54785
9   1   0   1.5      1.5    v55 0.50204 0.33469

我将不胜感激。

Answer 1

IIUC，只需直接使用poisson.pmf

from spicy.stats import poisson

df1['New2a'] =  poisson.pmf(df1.B, df1.Exp_B*(df1.index+1)/len(df1)) * df1.Exp_B
df1['New1a'] =  poisson.pmf(df1.A, df1.Exp_A*(df1.index+1)/len(df1)) * df1.Exp_A

获得相同的结果

>>> df1['New1a'].eq(df1['New1']).all()
True

要分组：

>>> df1.groupby('ID').apply(lambda s: poisson.pmf(s.B, s.Exp_B*(s.index+1)/len(s)) * s.Exp_B).reset_index()

通过在选定的行熊猫上应用函数来创建新列

1 个答案: