是否有机器学习方法来学习句子的结构而不是单词?

时间:2014-05-28 20:59:35

标签: machine-learning

我正在尝试使用HMM进行命名实体识别,但后来我发现包含实体的大多数句子都是非常有条理的。例如: 今天Apple的价格是多少?相反,教导模型学习句子中的每个单词,我可以教它学习句子的结构吗?就像“What's”或“What is”之后的每个词都应该是一种水果的名字?

谢谢!

2 个答案:

答案 0 :(得分:1)

您可以使用n-grams之类的简单内容开始探索该结构,或尝试使用grammar induction等更丰富的内容。

答案 1 :(得分:0)

不使用HMM,而是考虑使用条件随机字段。它们与HMM非常相似,但是具有辨别力的版本(在Ng和Jordan的术语中,HMM和线性链CRF形成生成/判别对)。

这样做的好处是,您可以定义单词观察的特征,即当前单词的POS标记,前一个单词的POS标记等,而不对这些特征做出独立假设。这将允许您将结构和词汇功能合并到同一决策框架中。

编辑:Here's原始论文。 Here's一个非常全面的教程。