N-gram忽略换行符

Question

我对nltk比较新，但最近我遇到了一个问题，我似乎无法找到解决方案。

我有这样的文字

Monkeys like bananas.

The sky is blue.

我正在尝试使用bigrams并使用word_tokenizer创建这些bigrams：

Monkeys like 1 like bananas 1 bananas The 1 The sky 1 sky is 1 is blue 1

如何让它工作，因此它不会创建二元组

bananas The 1 ？

import nltk 
from nltk.util import ngrams
corpus = open("my.txt").read()
tokens = nltk.word_tokenize(corpus)
bigrams = ngrams(tokens,2)
print Counter(bigrams)

Answer 1

TLDR;

在使用bigrams之前使用sent_tokenize。 （确保使用nltk.download安装punkt（＆＃39; punkt＆＃39;）;

然后：

>>> x = nltk.sent_tokenize("The Monkeys like bananas. The sky is blue")
['The Monkeys like bananas.', 'The sky is blue.']

>>> for x in a:
...     list(nltk.bigrams(nltk.word_tokenize(x)))
...
[('The', 'Monkeys'), ('Monkeys', 'like'), ('like', 'bananas'), ('bananas', '.')]
[('The', 'sky'), ('sky', 'is'), ('is', 'blue')]

详细

1）你错过了双胞胎的观点。

它们用于训练引擎以识别并置的单词。

因此，在使用bigrams之前，您必须稍微解析一下内容。因此，在上面的示例中使用bigrams之前使用sent_tokenize后跟word_tokenize。您可能希望通过适当的标记器预处理文本来删除标点符号。