Question

以下代码：

from keras.preprocessing.sequence import skipgrams
from keras.preprocessing import text

with open('engl_bible.txt', 'r') as file:
norm_bible = file

tokenizer = text.Tokenizer()
tokenizer.fit_on_texts(norm_bible)

word2id = tokenizer.word_counts
id2word = {v:k for k, v in word2id.items()}

vocab_size = len(word2id) + 1
embed_size = 100

wids = [[word2id[w] for w in text.text_to_word_sequence(doc)] for doc in norm_bible]

#print('Vocabulary Size:', vocab_size)
#print('Vocabulary Sample:', list(word2id.items())[:10])



# generate skip-grams
#skip_grams = keras.preprocessing.sequence.skipgrams(sequence, vocabulary_size, window_size=4, negative_samples=1.0, shuffle=True,
                                      # categorical=False, sampling_table=None, seed=None)

skip_grams = [skipgrams(wid, vocabulary_size=vocab_size, window_size=10) for wid in wids]

# view sample skip-grams
pairs = skip_grams[0]
labels = skip_grams[1]
for i in range(10):
    print("({:s} ({:d}), {:s} ({:d})) -> {:d}".format(id2word[pairs[i][0]], pairs[i][0],id2word[pairs[i][1]], pairs[i][1],labels[i]))

这应该导致这样的输出：

(james (1154), king (13)) -> 1
(king (13), james (1154)) -> 1
(james (1154), perform (1249)) -> 0
(bible (5766), dismissed (6274)) -> 0

但是我得到的输出如下：

pairs = skip_grams[0]
IndexError: list index out of range

Answer 1

这意味着skip_grams拥有一个空列表。这就是为什么在进行skip_grams[0]时，由于“列表中的第0个索引没有任何内容”而收到“ IndexError：列表索引超出范围”的错误。

看到您的代码后，我会看到以下相关行：

with open('engl_bible.txt', 'r') as file:
    norm_bible = file
...

wids = [[word2id[w] for w in text.text_to_word_sequence(doc)] for doc in norm_bible]

...

skip_grams = [skipgrams(wid, vocabulary_size=vocab_size, window_size=10) for wid in wids]

这使我认为您的文件“ engl_bible.txt”为空。

空文件'engl_bible.txt'->空列表wids->空列表skip_grams

Answer 2

我非常怀疑您没有正确打开文件，并且您可能希望修复缩进。尝试使用以下方法打开文件：

with open('engl_bible.txt', 'r') as file:
    norm_bible = file.read()
    #norm_bible = file.readlines()

print(len(norm_bible))

您的初始代码实际上并未读取该文件。 read()以字符串形式返回文件内容，read_lines()以列表中的元素形式返回每个换行符。看到您正在应用令牌生成器，read()可能是解决之道。

然后检查您的norm_bible变量是否不为空。

错误列表索引超出范围，而不是在python中正确列出

2 个答案: