Question

有没有办法加快这个简单的PyMC模型？在20-40个数据点上，需要大约5-11秒才能适应。

import pymc
import time
import numpy as np
from collections import OrderedDict

# prior probability of rain
p_rain = 0.5
variables = OrderedDict()
# rain observations
data = [True, True, True, True, True,
        False, False, False, False, False]*4
num_steps = len(data)
p_rain_given_rain = 0.9
p_rain_given_norain = 0.2
p_umbrella_given_rain = 0.8
p_umbrella_given_norain = 0.3
for n in range(num_steps):
    if n == 0:
        # Rain node at time t = 0
        rain = pymc.Bernoulli("rain_%d" %(n), p_rain)
    else:
        rain_trans = \
          pymc.Lambda("rain_trans",
                      lambda prev_rain=variables["rain_%d" %(n-1)]: \
                      prev_rain*p_rain_given_rain + (1-prev_rain)*p_rain_given_norain)
        rain = pymc.Bernoulli("rain_%d" %(n), p=rain_trans)
    umbrella_obs = \
      pymc.Lambda("umbrella_obs",
                  lambda rain=rain: \
                  rain*p_umbrella_given_rain + (1-rain)*p_umbrella_given_norain)
    umbrella = pymc.Bernoulli("umbrella_%d" %(n), p=umbrella_obs,
                              observed=True,
                              value=data[n])
    variables["rain_%d" %(n)] = rain
    variables["umbrella_%d" %(n)] = umbrella

print "running on %d points" %(len(data))
all_vars = variables.values()
t_start = time.time()
model = pymc.Model(all_vars)
m = pymc.MCMC(model)
m.sample(iter=2000)
t_end = time.time()
print "\n%.2f secs to run" %(t_end - t_start)

只有40个数据点，运行需要11秒：

running on 40 points
 [-----------------100%-----------------] 2000 of 2000 complete in 11.5 sec
11.54 secs to run

（80分需要20秒）。这是一个玩具的例子。确定转换的Lambda()内的表达式实际上更复杂。这种基本代码结构是灵活的（而使用转换矩阵编码模型的灵活性较低）。有没有办法保持类似的代码结构，但获得更好的性能？如有必要，很高兴切换到PyMC3。感谢。

Answer 1

Markov-Chain Monte Carlo是一个已知的连续问题。

这意味着它的运行时间与健身功能的步数和运行时间成正比。

但是你可以做一些技巧：

使用PyPy（需要重写，不支持pymc）
使用吉布斯采样来改善您的下一步
使用多个起点（并行）
使用多个分支（并行）
使用启发式方法提前停止链
对接近已计算的点使用近似值

更难的方法：

使用Numba（将健身功能编译为机器代码）
用C（或类似的）
使用本机MCMC代码（非Python，需要上述内容）

最后还有很多研究：

http://jsfiddle.net/sccbymha/

http://www.mas.ncl.ac.uk/~ndjw1/docs/pbc.pdf

https://sites.google.com/site/parallelmcmc/（pypy）

如何加快PyMC马尔可夫模型？

1 个答案: