如何在NLP中创建Affix(前缀+后缀)嵌入

时间:2019-09-04 05:27:52

标签: machine-learning deep-learning nlp pytorch

我正在执行命名实体识别任务。传统方法是将单词嵌入和字符级嵌入连接起来以首先创建单词表示。我还想使用词缀嵌入来更好地理解标签和单词之间的关系。

例如,“阿富汗”和“卡吉克斯坦”一词是“位置”的明显示例。在这里,后缀“ istan”或“ tan”将用于标识将来的“位置”标签。因此,我想提取所有单词的后缀和前缀并为其创建嵌入,然后将其与初始单词表示形式连接。如何实现呢?

1 个答案:

答案 0 :(得分:0)

您可以简单地这样做:

1)从Google搜索后缀词汇。
 2)编写一个简单的max-backward分段脚本来生成所有     单词的后缀,并将其作为另一项添加到您的培训中,     测试数据,就像单词和字符一样。
 3)用单词和字符嵌入来连接后缀嵌入