使用PyMC进行稳健的非线性回归(2)

时间:2014-10-24 23:07:14

标签: python regression pymc robust

这个问题类似于Fit a non-linear function to data/observations with pyMCMC/pyMC,因为我试图使用PyMC进行非线性回归。

然而,我想知道是否有人知道如何使用PyMC使我的观察变量遵循非正态分布(即T分布)。我知道它们包括T分布,但我不确定如何将这些作为我的观察变量。

这里有一个快速演示,使用一些我遇到问题的虚假数据:我想使用输出分布来防止一些明显的异常数据点。< / p>

import numpy as np
import pymc as pm
import matplotlib.pyplot as plt

# For reproducibility
np.random.seed(1234)

x = np.linspace(0, 10*np.pi, num=150)

# Set real parameters for the sinusoid
true_freq = 0.9
true_logamp = 1.2
true_decay = 0.12
true_phase = np.pi/4


# Simulate the true trajectory
y_real = (np.exp(true_logamp - true_decay*x) *
          np.cos(true_freq*x + true_phase))

# Add some noise
y_err = y_real + 0.05*y_real.max()*np.random.randn(len(x))


# Add some outliers
num_outliers = 10
outlier_locs = np.random.randint(0, len(x), num_outliers)
y_err[outlier_locs] += (10 * y_real.max() *
                        (np.random.rand(num_outliers)))



# Bayesian Regression

def model(x, y, p0):

    log_amp = pm.Normal('log_amp', mu=np.log(p0['amplitude']),
                        tau=1/(np.log(p0['amplitude'])))

    decay = pm.Normal('decay', mu=p0['decay'],
                        tau=1/(p0['decay']))

    period = pm.TruncatedNormal('period', mu=p0['period'],
                                tau=1/(p0['period']),
                                a=1/(0.5/(np.median(np.diff(x)))),
                                b=x.max() - x.min())

    phase = pm.VonMises('phase', mu=p0['phase'], kappa=1.)

    obs_tau = pm.Gamma('obs_tau', 0.1, 0.1)

    @pm.deterministic(plot=False)
    def decaying_sinusoid(x=x, log_amp=log_amp, decay=decay,
                          period=period, phase=phase):

        return (np.exp(log_amp - decay*x) *
                np.cos((2*np.pi/period)*x + phase))

    obs = pm.Normal('obs', mu=decaying_sinusoid, tau=obs_tau, value=y,
                    observed=True)

    return locals()

p0 = {
    'amplitude' : 2.30185,
    'decay'     : 0.06697,
    'period'    : 7.11672,
    'phase'     : 0.93055,
}


MDL = pm.MCMC(model(x, y_err, p0))
MDL.sample(20000, 10000, 1)

# Plot fit
y_min = MDL.stats()['decaying_sinusoid']['quantiles'][2.5]
y_max = MDL.stats()['decaying_sinusoid']['quantiles'][97.5]
y_fit = MDL.stats()['decaying_sinusoid']['mean']
plt.plot(x, y_err, '.', label='Data')
plt.plot(x, y_fit, label='Fit')
plt.plot(x, y_real, label='True')

plt.fill_between(x, y_min, y_max, color='0.5', alpha=0.5)
plt.legend()

non-robust fit :(

谢谢!

1 个答案:

答案 0 :(得分:2)

PyMC2有一个内置的t分布pm.T,但它以零为中心,所以你不能在这个应用程序中直接使用它。相反,您可以使用pm.t_like(x, nu)函数来计算自定义观察随机函数,该函数计算值x和自由度参数nu的对数似然。要为观察到的变量进行这样的自定义分布很简单:将第59-60行更改为:

@pm.observed
def obs(mu=decaying_sinusoid, tau=obs_tau, value=y):
    return pm.t_like(value-mu, tau)