检查输入时出错：预期density_1_input具有形状（3773），但数组的形状为（111，）

Question

我想用keras对电子邮件进行分类，我已经有了包含电子邮件的文件夹，因此我希望keras可以根据我已经分类的内容来确定一个模型，该模型可以预测将未分类的电子邮件放在何处。

因此，我阅读了所有邮件，并使用panda创建了两列的数据框，一个是邮件中所有单词的列表，另一个是邮件所属的文件夹。

此后，我创建了x_train，y_train，x_test和y_test来训练和评估我的代码。 这给了我很好的结果，所以我想通过相同的方法对未分类的电子邮件进行分类，读取邮件将其标记化，然后使用pd.get_dummies，然后将其转换为numpy数组。

因为看起来预测调用只能处理numpy列表或numpy数组。

这是问题所在，由于未分类邮件中的单词数不同，并且我的数据集的单词数不同，因此矩阵也不同，这导致形状不同，因此出现错误，我想知道如何解决。

我尝试使用OneHotEncoder，但我不知道这是否是我使用的方式，但失败了

#lst = each row contains all the word of the folder in the list2
#lst2 = each row contains the path to a folder

data = pd.DataFrame(list(zip(lst, lst2)), columns=['text', 'folder'])

train_size = int(len(data) * .8)
train_posts = data['text'][:train_size]
train_tags = data['folder'][:train_size]

test_posts = data['text'][train_size:]
test_tags = data['folder'][train_size:]

model = Sequential()
model.add(Dense(16, input_shape=(vocab_size,)))
model.add(Activation('elu'))
model.add(Dropout(0.2))
model.add(Dense(32))
model.add(Activation('elu'))
model.add(Dropout(0.2))
model.add(Dense(16))
model.add(Activation('elu'))
model.add(Dropout(0.2))
model.add(Dense(num_labels))
model.add(Activation('sigmoid'))
model.summary()

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
history = model.fit(x_train, y_train, batch_size=batch_size, epochs=100, verbose=1, validation_data=(x_test, y_test))
score = model.evaluate(x_test, y_test, batch_size=batch_size, verbose=1)

#read the non-classified mails

sentences = read_files("mail.eml")
sentences = ' '.join(sentences)
sentences = sentences.lower()
salut = unidecode.unidecode(sentences)
salut = text_to_word_sequence(salut)
salut = np.array(pd.get_dummies(salut).values)

pred = model.predict_classes(salut, batch_size=batch_size, verbose=1)

  

培训结果：3018/3018 [==============================]-   0s 64us / step-损耗：0.0215-acc：0.9949-val_loss：0.0217-   val_acc：0.9950

     

ValueError：检查输入时出错：预期density_1_input具有   形状（3773，），但数组的形状为（111，）

我总共使用3773个单词，我将其分为x_train和x_test，训练长度为3773的80％，因此3018，其余（775）进行测试

  

traning_time（适合）

     

3018/3018 [==============================]-0s 67us / step-损耗：0.0225-acc： 0.9950-val_loss：0.0221-val_acc：0.9950

     

test_time（评估）

     

755/755 [==============================]-0s 25us / step

     

评估结果

     

测试成绩：0.022089334732748024   测试准确度：0.9950132541309129

我忘了说read_files调用只是我读取文件并返回邮件中所有单词的列表的功能

我测试了通过添加尽可能多的列（全为零）以匹配3773长度来完成长度111矩阵的方法，此方法确实有效，但是矩阵肯定是假的，这给了我非常差的结果，而我有一个较高的“准确性”和“ val_accuracy”

如果您知道如何解决，请说出您的想法

Answer 1

我解决了两个矩阵之间的lengtg问题，这是因为在对未分类的邮件和其他邮件进行标记时，我没有使用相同的字典。

因此，如果有人遇到此问题，则需要在所有程序中使用相同的令牌生成器。