Question

我正在使用大数据集，因此我尝试使用train_on_batch（或适合epoch = 1）

model = Sequential()
model.add(LSTM(size,input_shape=input_shape,return_sequences=False))
model.add(Dense(output_dim))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=["accuracy"])

for e in range(nb_epoch):
    for batch_X, batch_y in batches:
        model.train_on_batch(batch_X,batch_y)
        # or
        # model.fit(batch_X,batch_y,batch_size=batch_size,nb_epoch=1,verbose=1,shuffle=True,)

但是当训练开始时，会发生这种情况：

(0, 128)
Epoch 1/1
128/128 [==============================] - 2s - loss: 0.3262 - acc: 0.1130

(129, 257)
Epoch 1/1
128/128 [==============================] - 2s - loss: -0.0000e+00 - acc: 0.0000e+00

我等待多少个时代并不重要，它不会改变。即使我改变批量大小，也会发生同样的事情：第一批具有良好的价值，然后它再次变为“损失：-0.0000e + 00 - acc：0.0000e + 00”。

有人可以帮助理解这里发生的事情吗？

提前致谢

Answer 1

如果类别太多，并且您的数据集不好；当系统找不到很好的结果时，它将自动打印本地最小值。尝试更改学习率。

opt = keras.optimizers.Adam(learning_rate=0.01)
model.compile(loss='categorical_crossentropy', optimizer=opt)

Answer 2

这似乎是爆炸/消失梯度问题。就像有人说的那样，尝试调整您的学习率和/或NN层的深度/宽度

Keras train_on_batch损失/准确度0

2 个答案: