Question

我需要为从1到M的每个整数创建一个从字符串开头开始的所有-gram的列表。然后返回M个这样的列表的元组。

    def letter_n_gram_tuple(s, M):
        s = list(s)
        output = []
    for i in range(0, M+1):

        output.append(s[i:])

    return(tuple(output))

来自letter_n_gram_tuple("abcd", 3)的输出应为：

(['a', 'b', 'c', 'd'], ['ab', 'bc', 'cd'], ['abc', 'bcd']))

但是，我的输出是：

(['a', 'b', 'c', 'd'], ['b', 'c', 'd'], ['c', 'd'], ['d']).

我应该使用字符串切片，然后将切片保存到列表中吗？

Answer 1

您可以使用嵌套，首先使用n语法，然后再对字符串进行切片

def letter_n_gram_tuple(s, M):
    output = []

    for i in range(1, M + 1):
        gram = []
        for j in range(0, len(s)-i+1):
            gram.append(s[j:j+i])
        output.append(gram)

    return tuple(output)

或按列表理解仅一行：

output = [[s[j:j+i] for j in range(0, len(s)-i+1)] for i in range(1, M + 1)]

或在more_itertools中使用windowed：

import more_itertools
output = [list(more_itertools.windowed(s, i)) for i in range(1, M + 1)]

测试并输出：

print(letter_n_gram_tuple("abcd", 3))
(['a', 'b', 'c', 'd'], ['ab', 'bc', 'cd'], ['abc', 'bcd'])

Answer 2

您还需要一个for循环来遍历字母或str：

def letter_n_gram_tuple(s, M):
    output = []
    for i in range(0, M):
        vals = [s[j:j+i+1] for j in range(len(s)) if len(s[j:j+i+1]) == i+1]
        output.append(vals)

    return tuple(output)

print(letter_n_gram_tuple("abcd", 3))

输出：

(['a', 'b', 'c', 'd'], ['ab', 'bc', 'cd'], ['abc', 'bcd'])

Answer 3

使用以下功能：

def letter_n_gram_tuple(s, M):
    s = list(s)
    output = [s]
    for i in range(M + 1):
        output.append([''.join(sorted(set(a + b), key=lambda x: (a + b).index(x))) for a, b in zip(output[-1], output[-1][1:])])
    return tuple(filter(lambda x: len(x) > 1, output))

现在：

print(letter_n_gram_tuple('abcd',3))

返回：

(['a', 'b', 'c', 'd'], ['ab', 'bc', 'cd'], ['abc', 'bcd'])

Answer 4

def n_grams(word,max_size):
    i=1
    output=[]
    while i<= max_size:
        index = 0
        innerArray=[]
        while index < len(word)-i+1:
            innerArray.append(word[index:index+i])
            index+=1
        i+=1
        output.append(innerArray)
        innerArray=[]
    return tuple(output)
print(n_grams("abcd",3))

从字符串生成n元语法

4 个答案: