如何计算直方图的标准差？ （Python，Matplotlib）

Question

假设我有一个数据集，并使用matplotlib绘制所述数据集的直方图。

n, bins, patches = plt.hist(data, normed=1)

如何使用n返回的bins和hist()值计算标准偏差？我目前正在这样做来计算平均值：

s = 0
for i in range(len(n)):
   s += n[i] * ((bins[i] + bins[i+1]) / 2) 
mean = s / numpy.sum(n)

这似乎工作得很好，因为我得到了相当准确的结果。但是，如果我尝试像这样计算标准偏差：

t = 0
for i in range(len(n)):
  t += (bins[i] - mean)**2
std = np.sqrt(t / numpy.sum(n))

我的结果与numpy.std(data)返回的结果不同。用每个箱的中心点替换左箱限制也不会改变这一点。我觉得问题是n和bins值实际上并不包含任何有关各个数据点如何在每个bin中分布的信息，但是我正在努力明确要求我用它来计算标准偏差。

Answer 1

您没有使用n[i]加权每个bin的贡献。将t的增量更改为

    t += n[i]*(bins[i] - mean)**2

顺便说一句，您可以使用numpy.average weights参数来简化（并加快）计算。

这是一个例子。首先，生成一些数据来使用。在计算直方图之前，我们将计算输入的样本均值，方差和标准差。

In [54]: x = np.random.normal(loc=10, scale=2, size=1000)

In [55]: x.mean()
Out[55]: 9.9760798903061847

In [56]: x.var()
Out[56]: 3.7673459904902025

In [57]: x.std()
Out[57]: 1.9409652213499866

我将使用numpy.histogram来计算直方图：

In [58]: n, bins = np.histogram(x)

mids是垃圾箱的中点;它的长度与n相同：

In [59]: mids = 0.5*(bins[1:] + bins[:-1])

均值的估计值是mids的加权平均值：

In [60]: mean = np.average(mids, weights=n)

In [61]: mean
Out[61]: 9.9763028267760312

在这种情况下，它非常接近原始数据的平均值。

估计方差是与平均值的平方差的加权平均值：

In [62]: var = np.average((mids - mean)**2, weights=n)

In [63]: var
Out[63]: 3.8715035807387328

In [64]: np.sqrt(var)
Out[64]: 1.9676136767004677

该估计值在实际样本标准偏差的2％范围内。

Answer 2

以下答案等同于沃伦·韦克瑟（Warren Weckesser）的答案，但对于那些希望将均值作为期望值的人可能更熟悉：

n, bins = np.histogram(x)
mids = 0.5*(bins[1:] + bins[:-1])
probs = n / np.sum(n)

mean = np.sum(probs * mids)  
sd = np.sqrt(np.sum(probs * (mids - mean)**2)

请注意，在某些情况下，您可能需要无偏样本方差，其中权重不是通过N而是通过N-1归一化的。