贝叶斯统计，机器学习：先前的v.s hyperprior

Question

我有一个线性回归（比方说）模型 p（t | x; w）= N（t; m，D）;

作为贝叶斯，我可以在参数w上加上高斯先验。 然而，我已经意识到，对于某些模型，我们可以将Gaussian上的Gaussian-Wishart hyperprior设置为“更多”贝叶斯。它是否正确 ？这两个模型都是有效的贝叶斯模型吗？

在我看来，我们总是可以把hyperprior，hyperhyperprior，..........因为它仍然是一个有效的概率模型。

我想知道将先前放置在先前放置之前的区别是什么。他们都是贝叶斯？

Answer 1

使用超级优先级仍然是“有效的贝叶斯”，因为这种分层建模是贝叶斯模型自然而然的，而且关于贝叶斯建模的任何书籍/课程都会通过使用超级驱动程序。

使用Normal-Wishart作为高斯分布的先验（或超前导）是完全正确的。从某种意义上说，我认为这样做甚至可以“更多贝叶斯”，如果这样做可以更准确地模拟手头的现象。

当谈到使用先前和超级先验之间的区别时，我不确定你的意思是“它们都是贝叶斯”吗？具有超级驱动程序的贝叶斯分层模型仍然是贝叶斯模型。

Answer 2

使用hyperpriors只在分层贝叶斯模型中有意义。在这种情况下，您将查看多个组并根据组特定的先验估计组特定系数w_group，其中系数从全局超级优先级中提取。

如果您的先前和超级优先级位于相同的层级，这似乎是您想到的情况，那么对结果的影响与使用具有更宽标准偏差的简单先验相同。由于它仍然需要额外的计算成本，因此应避免这种堆叠。

关于如何选择无信息先验的方法有很多统计学文献，理论上最好的解决方案通常是不正确的分布（它们的总积分是无限的），并且如果没有明确定义的方法甚至是不正确的后路解决方案存在很大的风险中位数。因此，出于实际目的，选择广泛的正态分布通常效果最佳。