通过python列表迭代

时间:2013-07-15 18:06:02

标签: python list nltk

我有UTF-8 Unicode文本文件,如下(非英语)

unicode textfile

所以我在python中将编码标记为UTF-8,并将文件导入python。

# -*- coding: utf-8 -*-

我用“。”标记了句子。并获得句子列表

sentence list

现在我需要与另一个unicode单词列表进行比较,找出每个句子中是否有这些单词。

这是我的代码。但它只显示了第一场比赛。

for sentence in sentences:
    for word in sentence.split(" "):
        if word in pronouns:
            print sentence

编辑:

最后我注意到源文本文件中存在无效的unicode字符。 这里描述了Tokenizing unicode using nltk

1 个答案:

答案 0 :(得分:2)

我试图模拟你的问题,但我得到了预期的结果,可能问题出在编码或你的代词列表中。

pronouns = ['aa','bb','cc']

sentences = ['aa dkdje asdf aesr','bb asersada','cc ase aser sa sa c ','aa saef sf se s', 'aa','bb']

for sentence in sentences:
    for word in sentence.split(" "):
        if word in pronouns:
            print (sentence)

代码的输出是:

aa dkdje asdf aesr
bb asersada
cc ase aser sa sa c 
aa saef sf se s
aa
bb

希望这有用。