使用Groupby Pandas DataFrame手动计算STD

Question

我试图通过提供一种不同的手动方式来计算平均值和标准值来为this question编写解决方案。

我创建了dataframe as described in the question

a= ["Apple","Banana","Cherry","Apple"]
b= [3,4,7,3]
c= [5,4,1,4]
d= [7,8,3,7]

import pandas as pd
df =  pd.DataFrame(index=range(4), columns=list("ABCD"))

df["A"]=a
df["B"]=b
df["C"]=c
df["D"]=d

然后，我创建了一个没有重复的A列表。然后我通过每次项目分组并计算解决方案来完成这些项目。

import numpy as np

l= list(set(df.A))

df.groupby('A', as_index=False)
listMean=[0]*len(df.C)
listSTD=[0]*len(df.C)

for x in l:
    s= np.mean(df[df['A']==x].C.values)
    z= [index for index, item in enumerate(df['A'].values) if x==item ]
    for i in z:
        listMean[i]=s

for x in l:
    s=  np.std(df[df['A']==x].C.values)
    z= [index for index, item in enumerate(df['A'].values) if x==item ]
    for i in z:
        listSTD[i]=s

df['C']= listMean
df['E']= listSTD

print df

我使用“A”分组的{​​{1}}来计算平均值std。

describe()

测试了建议的解决方案：

print df.groupby('A').describe()

我注意到在计算std（“E”）时得到了不同的结果。我很好奇，我错过了什么？

Answer 1

有two kinds of standard deviations (SD)：人口SD和样本SD。

人口SD

当值代表您正在研究的整个值范围时，使用

。

样本SD

当值只是来自该宇宙的样本时，使用

。

np.std默认计算人口SD，而Pandas'Series.std默认计算样本SD。

In [42]: np.std([4,5])
Out[42]: 0.5

In [43]: np.std([4,5], ddof=0)
Out[43]: 0.5

In [44]: np.std([4,5], ddof=1)
Out[44]: 0.70710678118654757

In [45]: x = pd.Series([4,5])

In [46]: x.std()
Out[46]: 0.70710678118654757

In [47]: x.std(ddof=0)
Out[47]: 0.5

ddof代表“自由度”，并控制从SD公式中N中减去的数字。

上面的公式图片来自this Wikipedia page。 “未经校正的样本标准差”是我（和others）称之为人口SD，“校正样本标准差”是样本SD。