在LSTM中输入字级和字符级嵌入以进行PoS标记

时间:2018-02-15 15:28:10

标签: python keras lstm recurrent-neural-network pos-tagger

我指的是这篇研究论文" Learning Character-level Representations for Part-of-Speech Tagging",作者说:"提出的神经网络使用卷积 允许有效特征提取的图层 任何大小的单词。在标记时,卷积层 甚至可以为每个单词生成字符级嵌入 对于那些不在词汇表之外的人。"

我正在学习使用这种方法构建一个高效的PoS标记器,但我无法将输入格式可视化。

例如:

x_train, y_train, x_test, y_test = load_dataset()

x_train和y_train的实例是什么样的?

我不明白我该怎么说& char嵌入(它们彼此依赖)在模型中一起使用,以便它可以同时了解它们。

我计划将此输入数据集放在LSTM模型中,如下所示:

M = Sequential()
M.add(Embedding())
M.add(LSTM())
M.add(Dropout())
M.add(LSTM())
M.add(Dropout())
M.add(TimeDistributed(Dense()))
M.compile(loss='categorical_crossentropy', optimizer=adam, metrics=['accuracy'])

任何有此领域经验的人都可以帮助分享一些方法或见解,让我走上正轨吗?

我尝试使用手工制作的功能构建PoS标记器(total_terms, term, is_first, is_last, is_capitalized, is_all_caps, is_all_lower, prefix-1, prefix-2, prefix-3, suffix-1, suffix-2, suffix-3, prev_word, next_word),但这次我想建立一个没有它们的模型。

1 个答案:

答案 0 :(得分:0)

请参阅此link 我认为你一定在寻找类似本页提到的模型。