如何解释`scipy.stats.kstest`和`ks_2samp`来评估数据的“拟合”？

Question

我正在尝试评估/测试我的数据与特定发行版的匹配程度。

有几个问题，我被告知要使用scipy.stats.kstest或scipy.stats.ks_2samp。这似乎很简单，给它：（A）数据; （2）分配; （3）拟合参数。唯一的问题是我的结果没有任何意义？我想测试我的数据的“优点”，它适用于不同的发行版，但是从kstest的输出，我不知道我是否可以这样做？

Goodness of fit tests in SciPy

  

“[SciPy]包含K-S”

Using Scipy's stats.kstest module for goodness-of-fit testing说

  

“第一个值是测试统计，第二个值是p值。如果p值小于95（显着性水平为5％），这意味着你不能拒绝Null-Hypothese两个样本分布是相同的。“

这只是展示如何适应： Fitting distributions, goodness of fit, p-value. Is it possible to do this with Scipy (Python)?

np.random.seed(2)
# Sample from a normal distribution w/ mu: -50 and sigma=1
x = np.random.normal(loc=-50, scale=1, size=100)
x
#array([-50.41675785, -50.05626683, -52.1361961 , -48.35972919,
#        -51.79343559, -50.84174737, -49.49711858, -51.24528809,
#        -51.05795222, -50.90900761, -49.44854596, -47.70779199,

# ...
#        -50.46200535, -49.64911151, -49.61813377, -49.43372456,
#        -49.79579202, -48.59330376, -51.7379595 , -48.95917605,
#        -49.61952803, -50.21713527, -48.8264685 , -52.34360319])

# Try against a Gamma Distribution
distribution = "gamma"
distr = getattr(stats, distribution)
params = distr.fit(x)

stats.kstest(x,distribution,args=params)
KstestResult(statistic=0.078494356486987549, pvalue=0.55408436218441004)

pvalue=0.55408436218441004的p_值表示normal和gamma抽样来自相同的分配？

我认为伽玛分布必须包含正值？https://en.wikipedia.org/wiki/Gamma_distribution

现在违反正常分布：

# Try against a Normal Distribution
distribution = "norm"
distr = getattr(stats, distribution)
params = distr.fit(x)

stats.kstest(x,distribution,args=params)
KstestResult(statistic=0.070447707170256002, pvalue=0.70801104133244541)

根据这一点，如果我采用最低的p_值，那么我会得出gamma分布的数据，即使它们都是负值？

np.random.seed(0)

distr = getattr(stats, "norm")
x = distr.rvs(loc=0, scale=1, size=50)
params = distr.fit(x)
stats.kstest(x,"norm",args=params, N=1000)

KstestResult(statistic=0.058435890774587329, pvalue=0.99558592119926814)

这意味着在5％的显着性水平上，我可以拒绝分布相同的零假设。所以我得出结论他们是不同的，但他们显然不是？我是否错误地解释了这一点？如果我把它设为单尾，是否会使它越大，它们来自同一分布的可能性越大？

Answer 1

因此，KT检验的零假设是分布是相同的。因此，p值越低，你必须拒绝零假设的统计证据越大，总结分布是不同的。该测试只能让您确信您的分布是不同的，而不是相同的，因为测试旨在找到 alpha ，即I类错误的概率。

另外，我非常确定KT测试只有在事先考虑到完全指定的分布时才有效。在这里，你只是在一些数据上拟合一个伽马分布，所以当然，测试产生一个高p值也就不足为奇了（即你不能拒绝分布为零的零假设）。相同）。

很快，这里是你适合的Gamma的pdf（蓝色）与你采样的正态分布的pdf（绿色）：

In [13]: paramsd = dict(zip(('shape','loc','scale'),params))

In [14]: a = paramsd['shape']

In [15]: del paramsd['shape']

In [16]: paramsd
Out[16]: {'loc': -71.588039241913037, 'scale': 0.051114096301755507}

In [17]: X = np.linspace(-55, -45, 100)

In [18]: plt.plot(X, stats.gamma.pdf(X,a,**paramsd))
Out[18]: [<matplotlib.lines.Line2D at 0x7ff820f21d68>]

显然这些并非如此。实际上，该测试将经验CDF（ECDF）与您候选分布的CDF进行比较（同样，您从将数据拟合到该分布中得出），并且测试统计量是最大差异。借用ECDF from here的实现，我们可以看到任何这样的最大差异都​​很小，测试显然不会拒绝零假设：

In [32]: def ecdf(x):
   .....:         xs = np.sort(x)
   .....:         ys = np.arange(1, len(xs)+1)/float(len(xs))
   .....:         return xs, ys
   .....: 

In [33]: plt.plot(X, stats.gamma.cdf(X,a,**paramsd))
Out[33]: [<matplotlib.lines.Line2D at 0x7ff805223a20>]

In [34]: plt.plot(*ecdf(x))
Out[34]: [<matplotlib.lines.Line2D at 0x7ff80524c208>]