tokenizer没有属性oov_token

时间:2019-01-14 17:10:30

标签: keras

回溯(最近通话最近):   在第87行的文件“ dac.py”中     X_train = load_create_padded_data(X_train = X_train,savetokenizer = False,isPaddingDone = False,maxlen = sequence_length,tokenizer_path ='。/ New_Tokenizer.tkn')   在load_create_padded_data中的文件“ /home/dpk/Downloads/DAC/New_Utils.py”,第92行     X_train = tokenizer.texts_to_sequences(X_train)   文件“ /home/dpk/anaconda2/envs/venv/lib/python2.7/site-packages/keras_preprocessing/text.py”,行278,在texts_to_sequences中     返回列表(self.texts_to_sequences_generator(texts))   在texts_to_sequences_generator中的第296行,文件“ /home/dpk/anaconda2/envs/venv/lib/python2.7/site-packages/keras_preprocessing/text.py”     oov_token_index = self.word_index.get(self.oov_token) AttributeError:“令牌生成器”对象没有属性“ oov_token”

2 个答案:

答案 0 :(得分:0)

可能是这个:

  

您可以手动设置tokenizer.oov_token = None来解决此问题。

     

Pickle并不是一种可靠的序列化对象的方法,因为它假定   您要导入的基础Python代码/模块没有   改变了。通常,请勿将腌制对象与其他   库的版本比酸洗时使用的库版本高。那不是   一个Keras问题,它是通用的Python / Pickle

https://github.com/keras-team/keras/issues/9099

答案 1 :(得分:0)

要解决此问题,我手动设置

self.oov_token = None

但不是

tokenizer.oov_token = None