如何创建增量NER培训模型(在现有模型中添加)?

时间:2017-09-08 10:33:31

标签: machine-learning stanford-nlp spacy

我正在使用 stanford NLP 培训自定义命名实体识别(NER)模型,但事实是我想重新培训模型

示例

假设我训练了 xyz模型,那么我将在某些文本上测试它,如果模型检测到某些错误然后我(最终用户)将纠正它并想要重新训练(追加模式)模型更正后的文字。

斯坦福大学不提供再培训设施,这就是为什么我转向 spacy python库,我可以重新培训模型意味着,我可以添加新实体在使用spacy重新训练模型之后,它会覆盖现有知识(意味着现有的训练数据),并且只显示与最近训练相关的结果。

考虑,我使用1000条记录在技术标记上培训了一个模型。之后我就已经向现有实体添加了一个实体 BOOK_NAME 训练有素的模型。如果我测试模型,那么spacy模型只是从文本中检测 BOOK_NAME

请提出解决我的问题陈述的建议。

提前致谢...!

1 个答案:

答案 0 :(得分:1)

我认为现在解决这个问题有点晚了。您面临的问题是所谓的'Catastrophic Forgetting problem'。您可以通过发送现有示例的示例来克服它。像Spacy一样可以很好地预测BBC语料库等格式良好的文本。您可以选择此类语料库,使用预先训练的spacy模型进行预测并创建训练示例。将这些示例与您的新示例混合然后进行训练。你现在应该得到更好的结果。在问题上已经mentioned了。