Question

根据我的理解，nltk中的word_tokenize函数采用字符串表示句子并返回其所有单词的列表：

>>> from nltk import word_tokenize, wordpunct_tokenize
>>> s = ("Good muffins cost $3.88\nin New York.  Please buy me\n"
...      "two of them.\n\nThanks.")
>>> word_tokenize(s) 
['Good', 'muffins', 'cost', '$', '3.88', 'in', 'New', 'York.',
'Please', 'buy', 'me', 'two', 'of', 'them', '.', 'Thanks', '.']

但是，在我的程序中保留空间以进行进一步计算非常重要，因此我宁愿word_tokenize像这样返回它：

['Good', ' ', 'muffins', ' ', 'cost', ' ', '$', '3.88', ' ', 'in', ' ', 'New', ' ', 'York.', ' ', 'Please', ' ', 'buy', ' ', 'me', ' ', 'two', ' ', 'of', ' ', 'them', '.', 'Thanks', '.' ]

如何更改/替换/调整word_tokenize来完成此操作？

Answer 1

您可以分两步完成此任务 -

步骤1：取出字符串并以空格为基础进入

步骤2：使用word_tokenize

对每个单词进行标记（在步骤1中按空格分割）

>>> s = "Good muffins cost $3.88\nin New York.  Please buy me\n"
>>> ll = [[word_tokenize(w), ' '] for w in s.split()]
>>> list(itertools.chain(*list(itertools.chain(*ll))))
['Good', ' ', 'muffins', ' ', 'cost', ' ', '$', '3.88', ' ', 'in', ' ', 'New', ' ', 'York', '.', ' ', 'Please', ' ', 'buy', ' ', 'me', ' ']

如何在nltk中使用word_tokenize并保留空格？

1 个答案: