平均场变分推断的更新

Question

我想知道ELBO是否应该随着变量参数q_i 的每次更新而单调增加？我知道它应该在每次迭代时增加，但是对于每个q_i，这在一次迭代中也是如此吗？谢谢！

Answer 1

是的，这也是事实。认为这是一种坐标上升方法：

q_i^t = argmax_{q_i} \cal{L}(q_1^{t}, ...,q_{i-1}^{t}, q_i, q_{i+1}^{t-1}, ..., q_n^{t-1}). 

所以你总是最大化。