最大似然参数估计

时间:2014-12-11 15:23:47

标签: machine-learning bayesian mle

鉴于此数据集:

颜色|大小

红色|大

白色|小

红色|大

红色|小

白色|大

红色|大

以及以下贝叶斯网络:颜色 - >大小,我应该找到贝叶斯网络的最大似然参数。评估者会是什么?我不知道如何继续这里,所以任何帮助将不胜感激。

1 个答案:

答案 0 :(得分:4)

假设您的颜色和大小变量有多项分布,则需要估算以下参数theta

对于颜色:

  • Theta_red:红色概率。
  • Theta_white:白色概率。

尺寸:

  • Theta_big|red:被给予红色的可能性很大。
  • Theta_big|white:被视为白色的可能性很大。
  • Theta_small|red:红色的概率很小。
  • Theta_small|white:因白色而变小的可能性。

以来,最终只有3个
  • theta_white = 1 - theta_red
  • theta_small|red = 1 - theta_big|red
  • theta_small|white = 1 - theta_big|white

可能性是给定模型的观测数据的概率,在这种情况下,对于具有n个颜色和大小观察值的数据集:

D = {(color_1, size_1), ..., (color_n, size_n)}

参数:

theta = {theta_red, theta_big|red, theta_big|white}

可能性由下式给出:

Likelihood

由于我们在这里处理伯努利分布的颜色和给定颜色的大小,我们可以这样写:

enter image description here

其中enter image description here是红色和小的观察计数,而另一个是同样定义的。

最后,通过优化似然函数,您可以获得参数估算器:

  • enter image description here
  • enter image description here
  • enter image description here