无法从Keras

Question

目前正在使用深度学习示例，他们正在使用Tokenizer程序包。我收到以下错误：

AttributeError：＆＃39; Tokenizer＆＃39;对象没有属性＆＃39; word_index＆＃39;

这是我的代码：

from keras.preprocessing.text import Tokenizer

samples = ['The cat say on the mat.', 'The dog ate my homework.']

tokenizer = Tokenizer(num_words=1000)
tokenizer.fit_on_sequences(samples)

sequences = tokenizer.texts_to_sequences(samples)

one_hot_results = tokenizer.texts_to_matrix(samples, mode='binary')

word_index = tokenizer.word_index
print('Found %s unique tokens.' % len(word_index))

有人能帮助我抓住我的错误吗？

Answer 1

它似乎正确导入，但Tokenizer对象没有属性word_index。

根据documentation，只有在fits_on_text对象上调用方法Tokenizer后才会设置该属性。

以下代码成功运行：

 from keras.preprocessing.text import Tokenizer

 samples = ['The cat say on the mat.', 'The dog ate my homework.']

 tokenizer = Tokenizer(num_words=1000)
 tokenizer.fit_on_texts(samples)

 one_hot_results = tokenizer.texts_to_matrix(samples, mode='binary')

 word_index = tokenizer.word_index
 print('Found %s unique tokens.' % len(word_index))