在英语(SQUAD 2.0)问题答案数据集上微调BERT多语言模型并在其他支持的语言上进行测试

时间:2019-05-09 09:16:18

标签: nlp multilingual transformer question-answering

我已经对SQUAD 2.0(英语)数据集进行了微调的基于BERT的多语言模型,用于问答模型。经过训练的模型对英语测试数据非常有效。但是english_trained_model在其他BERT支持的语言上的表现很差。例如荷兰语,西班牙语等。

我知道,这是预料之中的,但是我不确定这种行为的确切原因。有人可以解释一下吗?

我有点希望它能工作,因为:-

1)在微调过程中训练的附加层,与输入语言无关,即BERT在到达新层之前已根据支持的语言将输入段落/句子更改为关注矩阵映射的事物被训练。

预先感谢您的解释。

0 个答案:

没有答案