我正在尝试使用BERT建立多语言分类模型。
我正在使用基于特征的方法(将来自顶部4个隐藏层的特征进行连接),并在此之上构建CNN分类器。
此后,我使用来自同一域的不同语言(例如中文)进行测试,但是这些语言的准确性几乎为零。
我不确定我是否能很好地理解纸张,所以这是我的问题:
是否可以在一种语言上微调BERT多语言模型 (例如英语)或使用基于特征的方法来提取特征并构建分类器,然后将该模型用于不同的语言(其他 文档中受支持的语言列表中的语言 BERT)?
我的假设是“关于BERT映射,我认为它的嵌入层将来自具有相同上下文的不同语言的单词映射到相似的簇”,是正确的吗?