如何创建增量NER培训模型（在现有模型中添加）？

Question

我正在使用 stanford NLP 培训自定义命名实体识别（NER）模型，但事实是我想重新培训模型

示例：

假设我训练了 xyz模型，那么我将在某些文本上测试它，如果模型检测到某些错误然后我（最终用户）将纠正它并想要重新训练（追加模式）模型更正后的文字。

斯坦福大学不提供再培训设施，这就是为什么我转向 spacy python库，我可以重新培训模型意味着，我可以添加新实体在使用spacy重新训练模型之后，它会覆盖现有知识（意味着现有的训练数据），并且只显示与最近训练相关的结果。

考虑，我使用1000条记录在技术标记上培训了一个模型。之后我就已经向现有实体添加了一个实体 BOOK_NAME 训练有素的模型。如果我测试模型，那么spacy模型只是从文本中检测 BOOK_NAME 。

请提出解决我的问题陈述的建议。

提前致谢...！

Answer 1

我认为现在解决这个问题有点晚了。您面临的问题是所谓的'Catastrophic Forgetting problem'。您可以通过发送现有示例的示例来克服它。像Spacy一样可以很好地预测BBC语料库等格式良好的文本。您可以选择此类语料库，使用预先训练的spacy模型进行预测并创建训练示例。将这些示例与您的新示例混合然后进行训练。你现在应该得到更好的结果。在问题上已经mentioned了。