我正在做一个有一些自然语言处理的项目。我正在使用stanford MaxEnt Classifier。但我不确定，最大熵模型和逻辑回归是同一个还是一种特殊的逻辑回归？
有人可以提出解释吗？
答案 0 :(得分：4)
这是完全相同的型号。 NLP社会更喜欢名称最大熵，并使用稀疏公式，允许计算所有内容而无需直接投影到R ^ n空间（因为NLP通常具有大量特征和非常稀疏的向量）。
答案 1 :(得分：3)
在Max Entropy中，该特征与f（x，y）相对应，它意味着您可以使用标签y和可观察特征x来设计特征，而如果f（x，y）= x则是逻辑回归的情况。
在像POS这样的NLP任务中，设计要素的组合标签是很常见的。例如：当前单词以“ous”结尾，下一个单词是名词。可以预测当前单词是否为adj
答案 2 :(得分：3)
你可能想阅读这篇文章中的附件，这给出了一个简单的推导： http://www.win-vector.com/blog/2011/09/the-equivalence-of-logistic-regression-and-maximum-entropy-models/
解释引自＆＃34;言语和语言处理＆＃34;作者：Daniel Jurafsky＆amp; James H. Martin。：
每个特征都是一个指标功能，可以选择训练观察的一个子集。对于每个特征，我们在总分布上添加约束，指定此子集的分布应与我们在训练数据中看到的经验分布相匹配。然后我们选择最大熵分布，否则符合这些约束。
Berger等。 （1996）表明，这个优化问题的解决方案恰好是多项Logistic回归模型的概率分布，其权重W最大化了训练数据的可能性！