我可以自定义预训练的变压器神经机器翻译模型的词典吗?

时间:2019-10-11 18:25:05

标签: tensorflow nlp pytorch transformer machine-translation

有许多可用的预先训练的机器翻译模型,但是似乎它们都需要与训练过的字典一起运行。字典有时可能无法覆盖我的数据集(甚至是基于BPE的数据集),有时还会遗漏一些重要单词,如未知数。从我自己的数据集中学到的字典中定制预训练模型的最佳方法是什么?例如,某种转移学习的方式,例如解冻编码器层并重新训练?

0 个答案:

没有答案