区分具有相同含义但使用不同单词组合的句子

时间:2016-09-13 04:23:38

标签: machine-learning nlp deep-learning

我正在努力学习自然语言处理,并坚持使用开放式问题。我如何联合起来表示相同的句子。可以有一组有限的句子具有相同的含义。我用什么样的算法来吸引它们?

例如:考虑以下句子:

There is a man. There is a lion. The lion will chase the man on seeing him. If the lion catches the man he dies.

There is a man and a lion. If the lion catches the man he dies. The lion will chase the man if he sees him.

You have a lion that chases men on seeing them. There is one man. If the lion catches the man he dies.

基本上所有这些句子都是这样说的:

 1 Lion. 1 Man. Lions chase men. If lion catches men the man dies.

我无法将一类机器学习或深度学习算法归结为可以帮助我实现类似的功能。请指导我正确的方向,或指出一些足以实现这一目标的算法。

另一个重要因素是拥有可扩展的解决方案。那里可能会有很多这样的句子。那么会发生什么?

一种可能的解决方案是: 使用词性和句子中单词之间的关系作为某些机器倾斜算法的特征。但这会在一大堆句子中实用吗?我们需要考虑更多的事情吗?

1 个答案:

答案 0 :(得分:4)

基于深度学习的解决方案之一是使用word embeddings(理想情况下,它应该通过固定的维度向量来表示单词,使得相似的单词在嵌入空间中接近,甚至像Germany - Berlin ~= Italy - Rome这样的向量操作可以认为,两个着名的单词嵌入技术是Word2VecGlove,另一种选择是通过固定的维度向量表示一个句子,使得相似的句子靠近该嵌入空间,检查{{3} }。到目前为止,我们只尝试用更加语义的数字方式表示文本(单词/句子),下一步是捕捉当前上下文(段落,文档)的含义,一种非常天真的方法就是平均单词/句子嵌入(你必须尝试这个以确定它是否有效),更好的方法是使用某种序列模型,如Skip-Thought vectors(实际上RNNLSTM)来捕获任何东西之前已经说过了。使用序列模型的问题在于它需要监督(你应该有一个标记数据,但如果你没有它我认为是这种情况),那么只需在GRU设置中使用序列模型,获取RNN / GRU / LSTM的隐藏表示在最后一个步骤,即在读取最后一个单词或聚合单词嵌入后,如果您使用的是天真的方法。一旦你有隐藏的表示,你可以应用任何聚类技术来聚类不同的段落(你必须找到适当的language modelling)或者你可以手动应用一些距离度量,并定义或学习类似段落的阈值,将其分类为之一。