在逻辑回归的情况下,我无法通过使用glm和pymc3来找到正确的解释。所以我将GLM版本与显式的pymc3模型进行了比较。我开始为文档编写一个ipython笔记本,请参阅:
http://christianherta.de/lehre/dataScience/machineLearning/mcmc/logisticRegressionPymc3.slides.php
我不明白的是:
GLM中的参数使用了什么先验?我假设它们也是正态分布式的。与GLM中的构建相比,我的显式模型得到了不同的结果。 (见上面的链接)
数据越少,采样就会卡住和/或结果非常糟糕。有了更多的训练数据,我无法观察到这种行为。这对mcmc来说是正常的吗?
笔记本中还有更多问题。
感谢您的回答。
答案 0 :(得分:0)
GLM中的参数使用了什么先验
GLM是方法族的名称。两个流行的先验:高斯(对应于l2正则化)和laplacian(对应于l1),通常是第一个。
数据越少,采样就会卡住和/或结果非常糟糕。有了更多的训练数据,我无法观察到这种行为。对于mcmc来说这是正常的吗?
你玩过先前的参数吗?如果模型在少量数据的情况下表现不佳,这可能是由于强大的先验(=过高的正则化),这成为优化中的主要术语。