我正在寻找一种使用BERT运行简单示例的方法。 如何使用Google BERT分析上下文? https://github.com/google-research/bert 例如,我有一个维基百科文本的段落,以及来自Google的经过预训练的BERT模型。如何将段落传递给BERT并获取主要上下文的文本表示形式? 谢谢!
EDTED:
示例:我们有一个段落
“我正在寻找一种使用BERT来运行简单示例的方法。如何使用Google BERT来分析上下文?https://github.com/google-research/bert例如,我有一段Wikipedia文本和经过预训练的BERT模型来自Google。如何将段落传递给BERT并获得主要上下文的文本表示形式?谢谢!”
上下文应为“如何使用Google BERT分析上下文?”或“如何分析”
对我来说,问题是弄清楚如何教模型从其他句子中选出主要句子。 ^上面的示例。
另一个问题:如何处理大于512个令牌的文档?
谢谢!
答案 0 :(得分:1)
他们已经在SQuAD数据集上对其进行了训练,以完成问答任务,这是一个像您一样对任务进行排序的序列。因此,您可以使用适当的数据集(可能是文本摘要)对其进行微调。