如何将Spacy lemmatiser与其他pos标记一起使用

Question

我正在通过不同的库（包括模式）以及lemmatization任务来处理POS标签任务。

每次我使用spacy lemmatisation时，它都会自动为句子中的每个单词生成一个spacy pos标签。

但是，我想使用模式（不是通过spacy）生成的pos标签来改进句子的词素化。

有可能吗？

Answer 1

我目前也在研究这个问题。这是我发现的一些信息，希望它将为您指明正确的方向。

• lemmatizer由BaseDefaults.create_lemmatizer创建（请参见https://github.com/explosion/spacy/blob/master/spacy/language.py）。您可以通过调用nlp.Defaults.create_lemmatizer
来访问它
• lemmatizer位于nlp.vocab.morphology.lemmatizer（请参阅https://github.com/explosion/spaCy/blob/master/spacy/morphology.pyx）
在标记程序实例化期间添加标记程序异常的情况下（如果未将lemma作为异常定义的一部分提供），会调用
• lemmatizer。
• lemmatizer从Tagger.set_annotations => vocab.morphology.assign_tag_id中调用（有关Tagger类的信息，请参见https://github.com/explosion/spacy/blob/master/spacy/pipeline.pyx和https://github.com/explosion/spaCy/blob/master/spacy/morphology.pyx）

Tagger是spaCy管道的一部分。

看起来您需要做的是：

• 禁用spacy POS标记器，并创建并插入自己的标签（此处有相关信息：https://spacy.io/usage/processing-pipelines）
• 创建自己的lemmatizer管道元素，该元素将使用分配给您的标记的标签调用nlp.vocab.morphology.lemmatizer。也许更好的解决方案是通过调用nlp.Defaults.create_lemmatizer创建您自己的lemmatizer实例，然后使用该实例。

希望这会有所帮助。