有关问答系统NLP的建议

Question

我正在尝试建立一个问答系统，其中有一组预定义的问题及其答案。对于用户的任何给定问题，我必须查找预定义问题中是否已经存在类似问题并发送答案。如果不存在，则必须回复通用响应。关于如何使用NLP实施此操作的任何想法都将非常有帮助。

提前谢谢！

Answer 1

正如您在问题中已经提到的，这需要一种计算文本相似度的解决方案。在这种情况下，问题与问题的相似性。您有很多问题，对于传入的查询/问题，必须计算每个可用问题的相似度分数。从a previous answer of mine开始，进行简单的句子相似度

1. 将句子转换为合适的表示形式
2. 计算两个表示之间的距离度量，并找出最接近的匹配项

要达到1，您可以考虑将句子中的每个单词转换为相应的向量。有类似fasttext的库/算法提供矢量映射。通过对所有单词向量求平均值，可以获得整个句子的向量表示。使用余弦相似度来计算查询与可用列表中每个问题之间的分数。