如何使用一百万个带标签的句子提高从零开始实施的ner模型的速度

Question

我想使用spacy的NER模型以一百万个句子从零开始训练模型。该模型只有两种类型的实体。这是我正在使用的代码。由于无法共享数据，因此创建了一个虚拟数据集。

我的主要问题是模型训练所需的时间太长。如果您可以在我的代码中突出显示任何错误或建议其他方法来加快培训速度，我将不胜感激。

/* This will create a node with label MY_LABEL */
Node tnode = db.createNode(Label.label("MY_LABEL"));

Answer 1

也许您可以尝试以下方法：

batches = minibatch(TRAIN_DATA, size=compounding(1, 512, 1.001))