Question

使用LSTM和Keras我构建了一个简单的时间序列预测模型，其工作方式如下：假设我有过去10个时间段内的数据（标准化和准备培训），模型会预测前两个时间段的值。

我的数据形状类似于：

X = [[[1,2,3,4,5,6,7,8,9,10]，[2,3,4,5,6,7,8,9,10,11] [3,4,5,6,7,8,9,10,11,12]]]

Y = [[11,12]，[12,13]，[14,15]]

该模型由一个具有rnn_size个节点数的LSTM层组成以及一个辍学层。

    model = Sequential()

    model.add(LSTM(rnn_size,
    batch_input_shape=(batch_size, X.shape[1], 
    X.shape[2]),stateful=True,dropout=dropout))

    model.add(Dropout(dropout)) 
    model.add(Dense(y.shape[1]))
    adam_optimizer = keras.optimizers.Adam(clipvalue=5)
    model.compile(loss='mean_squared_error', optimizer=adam_optimizer)
    history = model.fit(X, y, batch_size=batch_size, epochs=nb_epoch, 
                    verbose=2, validation_split=0.1,shuffle=False)
    #################################    
    # Predict
    result = scaler.inverse_transform(
              model.predict_on_batch(test_values[start_date:end_date]
              .values.reshape(1, 1, -1)))

问题在于，时间段t + 1的预测值 - 如图中所示 - 似乎与某个时间段t的值略有不同。

这是（正常）行为吗？如果没有，我该如何克服它？

我认为我对LSTM的工作方式有了较好的理解，但是我无法解决这个问题。

编辑1：

我编辑了代码以使用无状态网络配置并根据Daniel的建议编辑了形状。但问题仍然存在。奇怪的是，验证损失（MSE）总是低于训练损失。

编辑2：

根据Marcin's请求添加的其余代码

actual value vs. predicted value for the test data set that was not shown to the model before

Validation Loss is less than Training Loss! ( small fluctuation is because of Dropout )

Answer 1

要使LSMT理解序列，它必须具有类似(batch,timeSteps,featuresPerStep)

的输入形状

因此，X.shape必须是(batch,10,1)：

[[[1],[2],[3],[4],[5],[6],[7],[8],[9],[10]],
 [[2],[3],...........................,[11]],
 [........................................]]

要创建LSTM图层，如果不使用stateful=True，则无需传递批量大小（如果第二个bach中的序列是第一个序列的续集，则仅使用此选项批量）。对于此滑动窗口的情况，您无法一起修复序列。每个序列都是个体的。

LSTM(rnn_size,input_shape=(X.shape[1],X.shape[2]))

这两项更改（X形状和有状态）可能会显着改变您的结果。

LSTM结果似乎又被转移了一段时间

编辑1：

编辑2：

1 个答案: