文本Python中的重复短语_跟进

时间:2014-03-11 13:22:16

标签: python phrases

另一位用户已经开始讨论如何在Python中查找重复的短语,但只关注三个单词的短语。

罗伯特罗斯尼的答案是完整和有效的(它在repeated phrases in the text Python),但我可以要求一种方法,只要找到重复的短语,尽管它们的长度?我认为可以详细说明前面讨论中已经阐述过的方法,但我不确定如何做到这一点。

我认为这是可以修改的函数,以便返回不同长度的元组:

def phrases(words):
    phrase = []
    for word in words:
        phrase.append(word)
        if len(phrase) > 3:
            phrase.remove(phrase[0])
        if len(phrase) == 3:
            yield tuple(phrase)

1 个答案:

答案 0 :(得分:1)

一个简单的修改是将字长传递给phrases方法,然后用不同的字长调用该方法。

def phrases(words, wlen):
  phrase = []
  for word in words:
    phrase.append(word)
    if len(phrase) > wlen:
        phrase.remove(phrase[0])
    if len(phrase) == wlen:
        yield tuple(phrase)

然后将all_phrases定义为

def all_phrases(words):
   for l in range(1, len(words)):
      yield phrases(words, l)

然后使用它的一种方法是

for w in all_phrases(words):
   for g in w:
     print g

对于words = ['oer', 'the', 'bright', 'blue', 'sea'],它会产生:

('oer',)
('the',)
('bright',)
('blue',)
('sea',)
('oer', 'the')
('the', 'bright')
('bright', 'blue')
('blue', 'sea')
('oer', 'the', 'bright')
('the', 'bright', 'blue')
('bright', 'blue', 'sea')
('oer', 'the', 'bright', 'blue')
('the', 'bright', 'blue', 'sea')