如何在PyMC中定义一般确定性函数

时间:2014-10-16 12:16:38

标签: python bayesian pymc mcmc pymc3

在我的模型中,我需要使用复杂的python函数从一组父变量中获取我的确定性变量的值。

有可能吗?

以下是一个pyMC3代码,它显示了我在简化的情况下尝试做的事情。

import numpy as np
import pymc as pm


#Predefine values on two parameter Grid (x,w) for a set of i values (1,2,3)
idata = np.array([1,2,3])
size= 20
gridlength = size*size
Grid = np.empty((gridlength,2+len(idata)))
for x in range(size):
    for w in range(size):
        # A silly version of my real model evaluated on grid.
        Grid[x*size+w,:]= np.array([x,w]+[(x**i + w**i) for i in idata])

# A function to find the nearest value in Grid and return its product with third variable z
def FindFromGrid(x,w,z):
    return Grid[int(x)*size+int(w),2:] * z

#Generate fake Y data with error
yerror = np.random.normal(loc=0.0, scale=9.0, size=len(idata))
ydata = Grid[16*size+12,2:]*3.6 + yerror  # ie. True x= 16, w= 12 and z= 3.6


with pm.Model() as model:

    #Priors
    x = pm.Uniform('x',lower=0,upper= size)
    w = pm.Uniform('w',lower=0,upper =size)
    z = pm.Uniform('z',lower=-5,upper =10)

    #Expected value
    y_hat = pm.Deterministic('y_hat',FindFromGrid(x,w,z))

    #Data likelihood
    ysigmas = np.ones(len(idata))*9.0 
    y_like = pm.Normal('y_like',mu= y_hat, sd=ysigmas, observed=ydata)

    # Inference...
    start = pm.find_MAP() # Find starting value by optimization
    step = pm.NUTS(state=start) # Instantiate MCMC sampling algorithm
    trace = pm.sample(1000, step, start=start, progressbar=False) # draw 1000 posterior samples using NUTS sampling


print('The trace plot')
fig = pm.traceplot(trace, lines={'x': 16, 'w': 12, 'z':3.6})
fig.show()

当我运行此代码时,我在y_hat阶段遇到错误,因为int()函数中的FindFromGrid(x,w,z)函数需要整数而不是FreeRV。

从预先计算的网格中查找y_hat很重要,因为我的y_hat真实模型没有表达的分析形式。

我之前曾尝试使用OpenBUGS,但我发现here在OpenBUGS中无法做到这一点。在PyMC中有可能吗?

更新

根据pyMC github页面中的示例,我发现需要将以下装饰器添加到FindFromGrid(x,w,z)函数中。

@pm.theano.compile.ops.as_op(itypes=[t.dscalar, t.dscalar, t.dscalar],otypes=[t.dvector])

这似乎解决了上述问题。但我不能再使用NUTS采样器了,因为它需要渐变。

大都会似乎没有融合。

我应该在这样的场景中使用哪种步骤方法?

1 个答案:

答案 0 :(得分:0)

您使用as_op找到了正确的解决方案。

关于融合:您是否有机会使用pm.Metropolis()代替pm.NUTS()?这种无法收敛的一个原因是Metropolis()默认情况下在关节空间中采样,而Metropolis中的Gibbs通常更有效(这是pymc2中的默认值)。话虽如此,我刚刚合并了这个:https://github.com/pymc-devs/pymc/pull/587,它将MetropolisSlice采样器的默认行为更改为默认情况下不被阻止(因此在Gibbs中)。像NUTS这样主要用于对关节空间进行采样的其他采样器仍然默认为阻塞。您始终可以使用kwarg blocked=True明确设置此项。

无论如何,用最新的master更新pymc并查看收敛是否有所改善。如果没有,请尝试Slice采样器。