statsmodels - 绘制拟合分布

时间:2014-05-22 16:24:12

标签: python statistics scipy modeling statsmodels

以下代码适合使用statsmodels

的过度简化的广义线性模型
model = smf.glm('Y ~ 1', family=sm.families.NegativeBinomial(), data=df)
results = model.fit()

这给出了系数和stderr:

               coef stderr   
Intercept    2.9471  0.120

现在我想以图形方式比较变量Y(直方图)的实际分布与模型的分布。

但我需要两个参数rp来评估stats.nbinom(r,p)并绘制它。

有没有办法从拟合的结果中检索参数? 我如何绘制PMF?

1 个答案:

答案 0 :(得分:4)

统计模型中的广义线性模型GLM目前不估计负二项分布的额外参数。负二项仅属于固定形状参数的指数分布族。

然而,statsmodels还在discrete_model中使用负二项式作为最大似然模型来估算所有参数。

计数回归的负二项式参数化是根据平均值或期望值进行的,这与scipy.stats.nbinom中的参数化不同。实际上,负二项计数回归有两种不同的常用参数化,通常称为nb1nb2

这是一个快速编写的脚本,可以从估计的参数中恢复scipy.stats.nbinom参数n=sizep=prob。获得scipy.stats.distribution的参数后,您可以使用所有可用的方法,rvs,pmf等。

这样的东西应该在statsmodels中提供。

在一些示例运行中,我得到了这样的结果

data generating parameters 50 0.25
estimated params           51.7167511571 0.256814610633
estimated params           50.0985814878 0.249989725917

除此之外,由于潜在的指数重新参数化,scipy优化器有时会出现收敛问题。在这些情况下,要么提供更好的起始值,要么使用Nelder-Mead作为优化方法通常会有所帮助。

import numpy as np
from scipy import stats
import statsmodels.api as sm

# generate some data to check
nobs = 1000
n, p = 50, 0.25
dist0 = stats.nbinom(n, p)
y = dist0.rvs(size=nobs)
x = np.ones(nobs)

loglike_method = 'nb1'  # or use 'nb2'
res = sm.NegativeBinomial(y, x, loglike_method=loglike_method).fit(start_params=[0.1, 0.1])

print dist0.mean()
print res.params

mu = res.predict()   # use this for mean if not constant
mu = np.exp(res.params[0])   # shortcut, we just regress on a constant
alpha = res.params[1]

if loglike_method == 'nb1':
    Q = 1
elif loglike_method == 'nb2':    
    Q = 0

size = 1. / alpha * mu**Q
prob = size / (size + mu)

print 'data generating parameters', n, p
print 'estimated params          ', size, prob

#estimated distribution
dist_est = stats.nbinom(size, prob)
顺便说一句:我之前遇到过这个问题,但没有时间去看它 https://github.com/statsmodels/statsmodels/issues/106