Question

对于语料库的预处理，我计划从语料库中提取常用短语，为此我尝试在gensim中使用 Phrases 模型，我尝试使用下面的代码，但它没有给出我想要的输出。

我的代码

from gensim.models import Phrases
documents = ["the mayor of new york was there", "machine learning can be useful sometimes"]

sentence_stream = [doc.split(" ") for doc in documents]
bigram = Phrases(sentence_stream)
sent = [u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']
print(bigram[sent])

输出

[u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']

但它应该是

[u'the', u'mayor', u'of', u'new_york', u'was', u'there']

但是当我试图打印火车数据的词汇时，我可以看到bigram，但它不能使用测试数据，我出错了？

print bigram.vocab

defaultdict(<type 'int'>, {'useful': 1, 'was_there': 1, 'learning_can': 1, 'learning': 1, 'of_new': 1, 'can_be': 1, 'mayor': 1, 'there': 1, 'machine': 1, 'new': 1, 'was': 1, 'useful_sometimes': 1, 'be': 1, 'mayor_of': 1, 'york_was': 1, 'york': 1, 'machine_learning': 1, 'the_mayor': 1, 'new_york': 1, 'of': 1, 'sometimes': 1, 'can': 1, 'be_useful': 1, 'the': 1})

Answer 1

我得到了问题的解决方案，有两个参数我没有处理它应该传递给 Phrases（）模型，那些是

min_count 忽略总收集数低于此值的所有单词和双字母组。 默认值为5
阈值表示形成短语的阈值（更高意味着更少的短语）。如果（cnt（a，b） - min_count）* N /（cnt（a）* cnt（b））＆gt;则接受单词a和b的短语。阈值，其中N是词汇总大小。 默认值为10.0

我的上述列车数据包含两个语句，阈值 0 ，因此我更改了列车数据集并添加了这两个参数。

我的新代码

from gensim.models import Phrases
documents = ["the mayor of new york was there", "machine learning can be useful sometimes","new york mayor was present"]

sentence_stream = [doc.split(" ") for doc in documents]
bigram = Phrases(sentence_stream, min_count=1, threshold=2)
sent = [u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']
print(bigram[sent])

<强>输出

[u'the', u'mayor', u'of', u'new_york', u'was', u'there']

Gensim非常棒！）

如何使用gensim从语料库中提取短语

1 个答案: