如何使用nltk分隔单个句子?

时间:2019-04-07 16:30:15

标签: python nltk

编程Noob,尝试使用send_tokenize将文本拆分为单独的句子。尽管它似乎有效(在控制台中,使每个句子成为其自己的列表项),但是当我将其附加到一个空列表时,最终得到的是len 1的列表(嗯,是语法列表列表)。 ,我无法遍历。基本上,我希望能够提取每个单独的句子,以便可以将其与字符串“ Summer great great”进行比较。也许有更好的方法可以完成此操作,但是请尝试为我提供一个简单的解决方案,因为Noob。我想象每个句子的末尾都有一个标志,我可以用来一次附加一个句子,因此,只要指出这一点就可以了。

我已经阅读了文档,并尝试添加以下代码,但最终我的listz的长度为1,而不是分成单个句子。

导入nltk nltk.download('punkt')

from nltk import sent_tokenize, word_tokenize

listz = []

s = "Good muffins cost $3.88\nin New York.  Please buy me two of 
them.\n\nThanks."

listz.append([word_tokenize(t) for t in sent_tokenize(s)])

print(listz)

---
// Expenced output listz = [["Good muffins cost $3.88 in New York."], 
["Please buy me two of them."], ["Thanks."]]

1 个答案:

答案 0 :(得分:1)

您应该使用extend

listz.extend([word_tokenize(t) for t in sent_tokenize(s)])

但是在这种情况下,简单的分配有效:

listz = [word_tokenize(t) for t in sent_tokenize(s)]