我指的是这篇研究论文" Learning Character-level Representations for Part-of-Speech Tagging",作者说:"提出的神经网络使用卷积 允许有效特征提取的图层 任何大小的单词。在标记时,卷积层 甚至可以为每个单词生成字符级嵌入 对于那些不在词汇表之外的人。"
我正在学习使用这种方法构建一个高效的PoS标记器,但我无法将输入格式可视化。
例如:
x_train, y_train, x_test, y_test = load_dataset()
x_train和y_train的实例是什么样的?
我不明白我该怎么说& char嵌入(它们彼此依赖)在模型中一起使用,以便它可以同时了解它们。
我计划将此输入数据集放在LSTM模型中,如下所示:
M = Sequential()
M.add(Embedding())
M.add(LSTM())
M.add(Dropout())
M.add(LSTM())
M.add(Dropout())
M.add(TimeDistributed(Dense()))
M.compile(loss='categorical_crossentropy', optimizer=adam, metrics=['accuracy'])
任何有此领域经验的人都可以帮助分享一些方法或见解,让我走上正轨吗?
我尝试使用手工制作的功能构建PoS标记器(total_terms, term, is_first, is_last, is_capitalized, is_all_caps, is_all_lower, prefix-1, prefix-2, prefix-3, suffix-1, suffix-2, suffix-3, prev_word, next_word
),但这次我想建立一个没有它们的模型。