在额外的训练数据上训练训练的seq2seq模型

Question

我训练了一个包含1M样本的seq2seq模型并保存了最新的检查点。现在，我有一些50K句子对的额外训练数据，这在以前的训练数据中是没有的。如何在不从头开始培训的情况下使当前模型适应这些新数据？

Answer 1

您不必重新运行整个网络初始化。您可以运行incremental training。

  

根据预先训练的参数进行训练

     

另一个用例是使用基本模型并使用新的训练选项（特别是优化方法和学习率）进一步训练它。在没有-train_from的情况下使用-continue将启动一项新培训，其中参数已从预先训练的模型初始化。

请记住将您的50K语料库标记为与前一个语料库相同的方式。

此外，您不必使用以OpenNMT 0.9开头的相同词汇表。请参阅Updating the vocabularies部分，并使用-update_vocab选项使用适当的值。