PyMC多元线性回归

时间:2014-04-07 22:21:06

标签: python linear-regression pymc

我试图让几条线共用相同的拦截线。

import numpy as np
import pymc

# Observations
a_actual = np.array([[2., 5., 7.]]).T
b_actual = 3.
t = np.arange(100)
obs = np.random.normal(a_actual * t + b_actual)


# PyMC Model
def model_linear():
    b = pymc.Uniform('b', value=1., lower=0, upper=200)

    a = []
    s = []
    r = []
    for i in range(len(a_actual)):
        s.append(pymc.Uniform('sigma_{}'.format(i), value=1., lower=0, upper=100))
        a.append(pymc.Uniform('a_{}'.format(i), value=1., lower=0, upper=200))
        r.append(pymc.Normal('r_{}'.format(i), mu=a[i] * t + b, tau=1/s[i]**2, value=obs[i], observed=True))

    return [pymc.Container(a), b, pymc.Container(s), pymc.Container(r)]

model = pymc.Model(model_linear())
map = pymc.MAP(model)
map.fit()
map.revert_to_max()

计算出的MAP估计值远离实际值。这些值对sigmasa的下限和上限非常敏感,a的实际值(例如a = [.2, .5, .7]会给我很好的估计)或者要进行回归的行数。

这是执行线性回归的正确方法吗?

ps:我试图对sigma使用指数先验分布,但结果并不好。

1 个答案:

答案 0 :(得分:1)

我认为使用MAP可能不是你最好的选择。如果您能够进行适当的采样,请考虑使用

替换示例代码的最后3行
MCMClinear = pymc.MCMC( model)
MCMClinear.sample(10000,burn=5000,thin=5)
linear_output=MCMClinear.stats()

为此打印linear_output可以非常准确地推断参数。