Question

Latent Dirichlet Allocation（LDA）是一种生成一系列主题的生成模型。每个主题都由单词分布表示。假设每个主题由前40个单词表示。

鉴于一个新文档，我如何确定哪个主题构成了这个新文档而无需再次重新运行lda。换句话说，我如何使用估计的主题来推断新的看不见的文档的主题。

更新

用于估算我们执行以下操作（为简单起见，我忽略了超参数）

for(int iter=0;iter<1000;iter++){
  for(int token=0;token<numTokens;token++){
     double[] values=new double[numTopics];
     double pz=0.0d;
    for(int topic=0;topic<numTopics;topic++){
         probabilityOfWordGivenTopic= topicCount[topic][word[token]] / numTokenInTopic[topic];
         probabilityOfTopicGivenDocument= docCount[doc[token]][topic] / docLength[doc[token]];
         pz= probabilityOfWordGivenTopic * probabilityOfTopicGivenDocument;
         values[topic]=pz;
         total+=pz;
   }
 }
}

谢谢。

Answer 1

在推理步骤中，您基本上需要将主题分配给新文档的单词。

对于看到的单词，使用您的估计模型来分配概率。举个例子，由于你有40个主题，你已经在LDA估计期间学习了单词主题分布（phi矩阵）。现在，对于在训练期间看到的单词，比如说w，取这个矩阵的第w列向量，其大小为40.这个向量为你提供了每个主题中单词w的类成员概率。比如说这个向量是（。02，.01，.... 004），这意味着P（w | t_1）=。02，依此类推。

在新文档中，无论您在哪里看到此单词w，都要从此分布中抽取样本并为其指定主题。很明显，这个词w更有可能被分配到从估计过程中学到的真实（技术上讲，估计的）主题类。

对于OOV单词（即您在培训期间未见过的单词），一种常见的做法是使用统一分布，即在您的示例中使用1/40的概率为其分配主题。 / p>

修改

从JGibbsLDA中提取的代码段如下：

for (int m = 0; m < newModel.M; ++m){ for (int n = 0; n < newModel.data.docs[m].length; n++){ // (newz_i = newz[m][n] // sample from p(z_i|z_-1,w) int topic = infSampling(m, n); newModel.z[m].set(n, topic); } }//end foreach new doc

推理采样的主要步骤是为单词w分配概率。注意，该概率部分取决于估计的模型概率（代码的trnModel.nw [w] [k]），部分取决于新的分配概率（newModel.nw [_w] [k]）。对于OOV的话， trnModel.nw [w] [k]设置为1 / K.该概率不依赖于P（w | d）。相反，P（w | d）只是在通过吉布斯采样完成主题分配后计算的后验概率。

// do multinomial sampling via cummulative method for (int k = 0; k < newModel.K; k++){ newModel.p[k] = (trnModel.nw[w][k] + newModel.nw[_w][k] + newModel.beta)/(trnModel.nwsum[k] + newModel.nwsum[k] + Vbeta) * (newModel.nd[m][k] + newModel.alpha)/(newModel.ndsum[m] + Kalpha); }

主题和潜在Dirichlet分配

1 个答案: