带有NER-Tagger的TensorFlow

时间:2016-03-17 10:24:33

标签: nlp tensorflow

我想知道是否有可能在张量流中使用自我训练模型进行命名实体识别。

有一个word2vec实现,但我找不到' classic' POS或NER标签。

感谢您的帮助!

1 个答案:

答案 0 :(得分:8)

您可以调整序列到序列模型以进行NER标记。您的培训文本是编码器的源词汇/序列:

Yesterday afternoon , Mike Smith drove to New York .

您的BIO / BILOU NER标签是解码器的目标词汇/序列,用于NER标记:

O O O B_PER I_PER O O B_LOC I_LOC O

或者使用POS标签到解码器进行POS标记:

NN NN ,  NNP NNP VBD TO NNP NNP . 

[恕我直言,使用深度学习方法通​​常不需要将POS标记作为中间步骤,除非您特别需要这些功能作为输出。]

您可能希望关闭解码器的嵌入字。

这篇着名的论文将序列到序列模型应用于句法分析,它与POS和/或NER任务有一些相似之处:Grammar as a Foreign Language