在Exp中意义对数似然。最大化算法

Question

我已经实现了exp。最大化算法，它收敛并正确返回mu和sigma的值，我已经检查了各种例子。

我试图绘制对数似然，但我不知道它的外观是否正确？ 这是等式： 而我的情节，y是对数似然值，x是迭代次数。

负值非常奇怪，也许我应该将可能性标准化？ Exp中的对数似然意味着什么。最大化

logLikelihood = 0;
for i = 1 : n
    logTemp = 0;
    for j = 1 : k
        logTemp =  logTemp + p(j) * mvnpdf(x(i,:), mu(j,:), sigma(:,:,j));
    end
    logLikelihood = logLikelihood + log(logTemp);
end
plot(iteration, logLikelihood,'r*');
hold on;

Answer 1

对数概率总是负的，因为它是概率的对数（p <1）。你的概率（不是logprop。）的顺序是p = 10 ^ -1000，这是正常的。例如，10000个偏置骰子卷的最可能序列的概率非常小（但其他序列更不可能）。

可对称性是一种避免概率消失的构造，即程序只是将它们舍入为零，当程序执行时，程序很可能会因为某些归一化为零而分解。