我有一个练习,给我5个数据点:
x1 = 10, x2 = 7, x3 = 1, x4 = 15, x5 = 8
独立生成。
对于第一部分,我被告知他们遵循参数theta的泊松分布,并且我被要求找到theta的最大似然估计。
我计算了argmax(theta) of ln(x1,x2,x3,x4,x5 | theta)
并得到了
theta = 41/5 = 8.2
。
对于第二部分,我被问到同样的事情,但这次我被告知他们遵循了参数θ的指数分布。
我做了同样的微积分并得到了
的结果 theta = 5/41 = 0.12
。
现在我被问到这两个分布中哪一个(泊松或指数)最有可能产生5个点(x1,x2,x3,x4,x5)。
基本上我需要找出这两个分布中哪一个最有可能产生5分,基于(我相信)我为两者计算的那个。
但我似乎无法弄清楚我需要找到的这两种概率的形式。这是MAP概率吗? P(theta | x1,x2,x3,x4,x5)?如果是,我可以使用贝叶斯公式得到
P(x1,x2,x3,x4,x5 |θ)* P(θ)/ P(x1,x2,x3,x4,x5)。但什么是P(theta)和P(x1,x2,x3,x4,x5)?
有什么想法吗?
答案 0 :(得分:1)
您被问到两种模型中哪一种更有可能,因此您需要知道之前的两种模型。既然你对它们一无所知,而且只有两个,我们假设先验是1/2,那么你有:
P(distr = x | data) = P(data | distr = x) P(distr = x) / P(data)
从而
P(distr = exp | data) > P(distr = poiss | data) <->
P(data | distr = exp) > P(data | distr = poiss)
你需要做的就是比较你已经完成的这两个概率(来自MLE)。
P(数据)无关紧要,因为它在两种情况下都是相同的。 P(distr = x)我们假设是相等的,所以也无关紧要。一般来说,人们以各种方式修改P(distr = x)以考虑分布的“复杂性”(这就像AIC和其他事情那样 - 他们假设分布的参数化与其先验概率之间的一些启发式映射)。