LSTM模型keras的历元图中的损失跳跃

Question

我在我的LSTM模型的历元图中看到损失跳跃。 （已附加SCREENSHOT） 它告诉我什么？ （过度拟合吗？错误的丢失函数，错误的不必要的激活层？等等。）

LOSS PLOT

# Model
time_input= Input(shape=(timesteps,data_dim))           #inputs dimension
DKLOC_input= Input(shape=(timesteps,data_dim))  
LSTM_outs=LSTM(hidden_dim, unroll= True, return_sequences=True)(time_input)
MLP_inputs=concatenate([LSTM_outs,Feature_Data_input])

MLP_outs= Dense(MLP_hidden_dim, activation='relu')(MLP_inputs)
MLP_outs= Dense(MLP_hidden_dim, activation='relu')(MLP_outs)
outs= Dense(data_dim, activation="linear")(MLP_outs) 


#optimizaiton # compile  #fit
model = Model(inputs=[time_input,Feature_Data_input], outputs=[outs])
model.compile(loss='mse', optimizer="adam", metrics=['mse', 'mae', 'mape', 'cosine'])
history = model.fit(x=[input_data, Feature_Data_train] , y= truth, batch_size=1, epochs=1000, verbose=2)

时代999/1000  -0s-损失：0.0132-均方误差：0.0132-均值绝对误差：0.0619-均值绝对百分比误差：45287253.3333-余弦接近度：-6.5984e-01 时代1000/1000  -0秒-损失：0.0132-均方误差：0.0132-均值绝对误差：0.0618-均值绝对百分比误差：45145968.0000-余弦接近度：-6.5985e-01

Answer 1

我将从使用大于1的batch_size开始。您希望优化器考虑多个数据点，而不仅仅是一次采样。希望您的数据样本有所不同，因此您希望优化考虑一组平均值。