在NLP任务中区别性重新排名有什么作用？

Question

最近，我读到柯林斯的“自然语言处理的歧视性重新排列”。 我很困惑重新排名实际上做了什么？ 为rerank模型添加更多全局功能？或其他什么？

Answer 1

如果您的意思是this paper，那么我们将采取以下措施：

1. 使用生成模型训练解析器，即计算 P （术语|树）的解析器，并使用贝叶斯规则来反转它并得到 P （树|术语），
2. 应用它来获取模型中树的初始 k 最佳排名，
3. 训练关于所需树木特征的第二个模型，
4. 应用它来重新排列2的输出。

第二个模型有用的原因在于生成模型（如朴素贝叶斯，HMM，PCFG），除了单词标识之外，很难添加其他特征，因为该模型会尝试预测其概率。 精确特征向量而不是单独的特征，这些特征可能不会出现在训练数据中，并且 P （向量|树）= 0，因此 P < / em>（tree | vector）= 0（+平滑，但问题仍然存在）。这是数据稀疏性的永恒NLP问题：你不能建立一个包含你想要处理的每一个话语的训练语料库。

诸如MaxEnt之类的判别模型在处理特征向量方面要好得多，但需要更长时间才能拟合并且处理起来会更复杂（尽管CRF和神经网络已被用于构造解析器作为判别模型）。柯林斯等人试图找到完全生成和完全辨别方法之间的中间地带。