NLP使用什么深度学习模型？

Question

我要创建一个模型，该模型以文本和关键字列表作为输入，并给出布尔值作为输出。
该模型必须输出文本是否与那些关键字相关。
我不知道从哪里开始或使用什么模型。
LSTM通常在NLP中使用，但是它仅将一些文本作为输入并预测下一个单词，因此我不知道它是否可以使用。

Answer 1

您要解决的问题称为文本分类。

LSTM可以用于您的问题。它们可以用于预测句子中的下一个单词，但不一定。通常，网络逐个单词（或子单词或字符）获取输入的单词，并根据该单词更新其隐藏状态。这些状态可以用于预测下一个单词是什么，但必不可少。例如，您可以获取网络的最终状态并在其之上运行分类器。在这种情况下，LSTM通常是双向的：有两个网络，每个网络都从文本的另一端开始。

最近最流行的LSTM替代方法是Transformer体系结构。使用预训练的BERT模型似乎可以很好地解决您的问题，例如，使用Huggingface implementation in Pytorch。