为什么我们选择Beta分布作为先验假设？

Question

我在CMU的Tom Mitchell看到了2011年10 - 701年的机器学习课程视频。当他在theta上使用Beta分布时，他正在教授主题最大似然估计，我想他只选择了那个？

Answer 1

在this lecture中，米切尔教授给出了一个硬币翻转和估计其公平性的例子，即头部的概率 - theta 。他合理地为这个实验选择了binomial distribution。

为先验选择beta distribution的原因是在计算后验时简化数学。这很有效，因为beta是conjugate prior for binomial - 在同一讲座的最后，教授提到它。这并不意味着人们不可能使用任何其他先前的，例如正常，泊松等。但其他先验导致复杂的后验分布，难以优化，计算积分等。

这是一般原则：在更复杂的分布之前更喜欢共轭，即使它不完全符合数据，因为数学更简单。