如何在BERT的帮助下找到段落的上下文?

时间:2019-01-15 16:03:30

标签: nlp

我正在寻找一种使用BERT运行简单示例的方法。 如何使用Google BERT分析上下文? https://github.com/google-research/bert 例如,我有一个维基百科文本的段落,以及来自Google的经过预训练的BERT模型。如何将段落传递给BERT并获取主要上下文的文本表示形式? 谢谢!

EDTED:

示例:我们有一个段落

“我正在寻找一种使用BERT来运行简单示例的方法。如何使用Google BERT来分析上下文?https://github.com/google-research/bert例如,我有一段Wikipedia文本和经过预训练的BERT模型来自Google。如何将段落传递给BERT并获得主要上下文的文本表示形式?谢谢!”

上下文应为“如何使用Google BERT分析上下文?”或“如何分析”

对我来说,问题是弄清楚如何教模型从其他句子中选出主要句子。 ^上面的示例。

另一个问题:如何处理大于512个令牌的文档?

谢谢!

1 个答案:

答案 0 :(得分:1)

他们已经在SQuAD数据集上对其进行了训练,以完成问答任务,这是一个像您一样对任务进行排序的序列。因此,您可以使用适当的数据集(可能是文本摘要)对其进行微调。