在窗口字嵌入中启动标记

时间:2017-04-05 19:06:13

标签: neural-network nlp nltk lstm named-entity-recognition

我使用预先训练的SENNA嵌入并将3个字窗口送入密集神经网络。

Senna是否有开始或结束标记嵌入? 或者我创建一个随机向量?

Sentence:  'McDonalds sells fries'
input 1:  ['<s>', 'McDonalds', 'sells']

<s>没有嵌入...... 我创建自己的吗? (例如所有-1)?

1 个答案:

答案 0 :(得分:0)

https://ronan.collobert.com/senna/上阅读主页,似乎标记化和(将包括特殊的句子边界标记)正在内部处理。

您是否有理由要包含它们? 从站点看,它们似乎在输入上下文(单句)中是隐含的。

来自网站:

stemp