使用预训练的 BERT 模型查找输入单词的上下文

时间:2021-07-11 18:28:10

标签: nlp bert-language-model

我正在尝试开发一项服务,让用户可以输入一个或多个词并在某些上下文中获取它们。主要思想是帮助用户在学习外语时更好地理解单词的使用上下文。假设输入的词,如果有几个,在意义上是相关的。搜索结果可能包含不同形式的输入词:即不同的结尾、不同的时间等。

我按照本指南从头开始构建内部搜索引擎。 https://medium.com/mlearning-ai/semantic-search-with-s-bert-is-all-you-need-951bc710e160 在本指南中,创建了一个搜索栏,允许用户通过关键字或可能描述情节的文本搜索电影。使用预训练的 BERT 模型作为模型。为了调整模型,使用 T5 模型生成了综合查询数据。

我也在尝试从头开始构建一个搜索引擎,但我不知道在我的情况下应该如何生成数据。帖子中描述的方法不适合我的需求,因为这种方式生成的查询和搜索结果更像是一个问题及其答案,而不是一个搜索词和上下文中的同一个词。

这种方法可以解决我的问题吗?如果是这样,我如何综合生成数据?非常感谢任何帮助。

0 个答案:

没有答案