为什么我们需要LDA中的超参数beta和alpha？

Question

我正在尝试理解Latent Dirichlet Allocation（LDA）的技术部分，但我有几个问题在我的脑海中：

首先：为什么我们每次采样下面的等式时都需要添加alpha和gamma？如果我们从等式中删除alpha和gamma怎么办？是否仍然可以获得结果？

第二：在LDA中，我们将主题随机分配给文档中的每个单词。然后，我们尝试通过观察数据来优化主题。在上面的等式中与后推理相关的部分在哪里？

Answer 1

如果您查看推论derivation on Wiki，那么引入alpha和beta的原因很简单，因为theta和phi都是从它们分别唯一确定的Dirichlet分布中得出的。选择Dirichlet分布作为先验分布（例如P（phi | beta））的原因主要是为了使数学易于使用共轭先验的良好形式来解决（这里是Dirichlet和分类分布） ，分类分配是跨国分配的一种特殊情况，其中n设置为1，即只有一个审判。同样，狄利克雷分布可以帮助我们“注入”我们的信念，即文档主题和主题词的分布集中在文档或主题的几个主题和词中（如果我们设置低超参数）。如果您删除Alpha和Beta，我不确定它将如何工作。

后验推断被联合概率推断所取代，至少在Gibbs抽样中，您需要联合概率，同时选择一个维来“转变状态”，就像Metropolis-Hasting范例所做的那样。您在此处输入的公式基本上是从联合概率P（w，z）推导出的。我想向您推荐《蒙特卡洛统计方法》一书（罗伯特（Robert）），以充分理解推理为何起作用。