修改

Question

我有一维数据：

a = np.array([1,2,3,4,4,4,5,5,5,5,4,4,4,6,7,8])

我想获得68％的置信区间（即：1 sigma）。

this answer中的第一条评论指出，可以使用scipy.stats.norm函数中的scipy.stats.norm.interval来实现此目的，通过：

from scipy import stats
import numpy as np
mean, sigma = np.mean(a), np.std(a)

conf_int = stats.norm.interval(0.68, loc=mean, 
    scale=sigma)

但this post中的评论指出实际获取置信区间的正确方法是：

conf_int = stats.norm.interval(0.68, loc=mean, 
    scale=sigma / np.sqrt(len(a)))

即，sigma除以样本大小的平方根：np.sqrt(len(a))。

问题是：哪个版本是正确的？

Answer 1

正常分布中单次抽奖的68％置信区间平均mu和std偏差sigma是

stats.norm.interval(0.68, loc=mu, scale=sigma)

正常分布的 N平均值的68％置信区间平均mu和std偏差西格玛是

stats.norm.interval(0.68, loc=mu, scale=sigma/sqrt(N))

直观地说，这些公式是有道理的，因为如果你拿起一罐果冻豆并要求很多人猜测果冻豆的数量，每个人可能会大量减少 - 相同的标准偏差{ {1}} - 但猜测的平均值在估算实际数量方面做得非常好，这可以通过平均收缩的标准偏差sigma来反映。

如果单个绘图具有方差1/sqrt(N)，则Bienaymé formula的sigma**2 不相关绘制的总和会有差异N。

均值等于除以N的和。当您将随机变量（如总和）乘以常数时，方差乘以常数的平方。那是

N*sigma**2

所以均值的方差等于

Var(cX) = c**2 * Var(X)

因此平均值的标准差（即方差的平方根）等于

(variance of the sum)/N**2 = N * sigma**2 / N**2 = sigma**2 / N

这是分母中sigma/sqrt(N).的起源。

以下是一些基于Tom代码的示例代码，该代码演示了上述声明：

sqrt(N)

打印

import numpy as np
from scipy import stats

N = 10000
a = np.random.normal(0, 1, N)
mean, sigma = a.mean(), a.std(ddof=1)
conf_int_a = stats.norm.interval(0.68, loc=mean, scale=sigma)

print('{:0.2%} of the single draws are in conf_int_a'
      .format(((a >= conf_int_a[0]) & (a < conf_int_a[1])).sum() / float(N)))

M = 1000
b = np.random.normal(0, 1, (N, M)).mean(axis=1)
conf_int_b = stats.norm.interval(0.68, loc=0, scale=1 / np.sqrt(M))
print('{:0.2%} of the means are in conf_int_b'
      .format(((b >= conf_int_b[0]) & (b < conf_int_b[1])).sum() / float(N)))

请注意，如果您使用68.03% of the single draws are in conf_int_a 67.78% of the means are in conf_int_b和conf_int_b的估算值定义mean 根据样本sigma，平均值可能不会落在a中频率。

如果从分发中获取示例并计算样本均值和标准差，

conf_int_b

小心注意，不能保证这些会等于人口平均值和标准差，我们假设人口是正常分布的 - 那些不是自动给予的！

如果您采样并希望估算人口平均值和标准偏差，你应该用

mean, sigma = a.mean(), a.std()

因为西格玛的这个值是人口标准差的unbiased estimator。

Answer 2

我使用具有已知置信区间的数组测试了您的方法。 numpy.random.normal（mu，std，size）返回以mu为中心的数组，标准差为std（在the docs中，定义为Standard deviation (spread or “width”) of the distribution.）。

from scipy import stats
import numpy as np
from numpy import random
a = random.normal(0,1,10000)
mean, sigma = np.mean(a), np.std(a)
conf_int_a = stats.norm.interval(0.68, loc=mean, scale=sigma)
conf_int_b = stats.norm.interval(0.68, loc=mean, scale=sigma / np.sqrt(len(a)))


conf_int_a
(-1.0011149125527312, 1.0059797764202412)
conf_int_b
(-0.0076030415111100983, 0.012467905378619625)

由于sigma值应为-1到1，/ np.sqrt(len(a))方法似乎不正确。

修改

由于我没有上述评论的声誉，我将澄清这个答案如何与unutbu的彻底答案联系起来。如果填充具有正态分布的随机数组，则总数的68％将落在平均值的1-σ之内。在上面的例子中，如果你检查你看到了

b = a[np.where((a>-1)&(a <1))]
len(a)
> 6781

或68％的人口在1σ以内。好吧，大约68％。当您使用越来越大的阵列时，您将接近68％（在10的试验中，9在-1和1之间）。那是因为1-σ是数据的固有分布，你拥有的数据越多，你就可以解决它。

基本上，我对你的问题的解释是如果我有一个数据样本我想用它来描述它们的分布，那么找到该数据的标准偏差的方法是什么？而unutbu的解释似乎更强烈我可以将平均值置于68％置信区间的时间间隔是什么？。这意味着，对于果冻豆，我回答他们如何猜测并且unutbu回答他们的猜测告诉了我们关于果冻豆的信息。

Answer 3

我刚检查了R和GraphPad如何计算置信区间，并且在样本量较小的情况下它们会增加间隔（n）。例如，与大n相比，n = 2超过6倍。此代码（基于shasan的answer）匹配其置信区间：

import numpy as np, scipy.stats as st

# returns confidence interval of mean
def confIntMean(a, conf=0.95):
  mean, sem, m = np.mean(a), st.sem(a), st.t.ppf((1+conf)/2., len(a)-1)
  return mean - m*sem, mean + m*sem

对于R，我检查了t.test（a）。 GraphPad的confidence interval of a mean页面具有关于样本大小依赖性的“用户级别”信息。

这里是Gabriel的例子的输出：

In [2]: a = np.array([1,2,3,4,4,4,5,5,5,5,4,4,4,6,7,8])

In [3]: confIntMean(a, 0.68)
Out[3]: (3.9974214366806184, 4.877578563319382)

In [4]: st.norm.interval(0.68, loc=np.mean(a), scale=st.sem(a))
Out[4]: (4.0120010966037407, 4.8629989033962593)

请注意，此处confIntMean()和st.norm.interval()间隔之间的差异相对较小; len（a）== 16不是太小。

用scipy获得置信区间的正确方法

3 个答案:

修改