如何通过Doc2Vec查找文档中最具决定性的句子或单词？

Question

我已经训练了Doc2Vec模型来执行简单的二进制分类任务，但是我也很想看看哪些单词或句子在对给定文本的意义做出贡献方面的权重更大。到目前为止，我没有运气找到任何相关或有用的东西。有什么想法可以实现此功能吗？我应该从Doc2Vec切换到tf-idf等更常规的方法吗？

Answer 1

您正在询问模型的可解释性。我看到了一些探索这种方式的方法：

• 根据您的分类器，模型的参数可能会告诉您所查看的内容。例如，在基于注意力的模型中，该模型所涉及的内容可以说明问题。

• 诸如Lime和Anchor之类的工具可用于任何黑盒模型，在这种情况下可能会起作用。两者的文档都显示了如何将其与文本数据一起使用。