迭代条件模式E步骤EM

Question

我想知道使用ICM作为EM算法中E步骤的近似值的数学证明。

正如我在E步骤中理解的那样，想法是找到一个等于潜变量后验分布的分布，这保证了可能性增加或从一些更简单的分布族中找到最佳分布，这保证了似然函数的下界增加。

如何在数学上证明在这样的E步骤中使用ICM是合理的？任何参考/推导/注释都会非常有用。

感谢您的帮助。

Answer 1

让我们考虑一个简单的CRF，它代表给定观察（x）的标记（y）的可能性。还假设可能性取决于参数\ theta。在推理中，你只知道x并试图推断y。您只需要以E步骤找到标记y（argmax P（y | x，\ theta））并且M步骤找到参数\ theta（argmax P（\ theta | x，y））的方式应用EM算法。 M步骤可以通过使用任何优化算法来完成，因为\θ通常不是高维度（至少不如y的维度那么高）。 E步骤简单地推断没有隐藏变量的MRF / CRF，因为\ theta在M步骤中独立优化。 ICM是一种用于执行推理的算法。如果你想要一个参考，你可以简单地阅读墨菲的书http://www.cs.ubc.ca/~murphyk/MLbook/，我认为第26章是非常相关的。