如何证明EM的收敛？

Question

你能解释一下如何证明期望最大化算法的收敛性吗？

例如EM代表硬币问题：https://math.stackexchange.com/questions/25111/how-does-expectation-maximization-work

Answer 1

EM算法进行最大似然估计。如果你看一下对数似然，那么E和M步都不能最大化它。但是，如果你看一下负自由能量函数，它们总是最大化它，相对于不同的东西（所以有点像坐标下降）。所以是的，EM算法总是会收敛，即使它可能会收敛到糟糕的局部极值，这是一个不同的问题 看看经典论文www.cs.toronto.edu/~radford/ftp/emk.pdf，了解更多信息。

Answer 2

EM算法并不总是收敛。因此，问题的具体细节将非常重要。