Keras LSTM密集层多维输入

时间:2017-09-13 21:19:46

标签: python multidimensional-array keras lstm

我正在尝试创建一个keras LSTM来预测时间序列。我的x_train的形状像3000,15,10(例如,Timesteps,Features),y_train就像3000,15,1而我正在尝试建立多对多的模型(每个序列10个输入特征使得1个输出/序列)。

我正在使用的代码是:

model = Sequential()

model.add(LSTM(
    10,
    input_shape=(15, 10),
    return_sequences=True))
model.add(Dropout(0.2))

model.add(LSTM(
    100,
    return_sequences=True))
model.add(Dropout(0.2))
model.add(Dense(1, activation='linear'))
model.compile(loss="mse", optimizer="rmsprop")
model.fit(
        X_train, y_train,
        batch_size=512, nb_epoch=1, validation_split=0.05)

但是,使用时我无法使用该模型:

model.add(Dense(1, activation='linear'))
>> Error when checking model target: expected dense_1 to have 2 dimensions, but got array with shape (3000, 15, 1)

或以这种方式格式化:

model.add(Dense(1))
model.add(Activation("linear"))
>> Error when checking model target: expected activation_1 to have 2 dimensions, but got array with shape (3000, 15, 1)

在添加密集图层之前,我已经尝试展平模型(model.add(Flatten())),但这只是给了我ValueError: Input 0 is incompatible with layer flatten_1: expected ndim >= 3, found ndim=2。这让我感到困惑,因为我觉得我的数据实际上是三维的,不是吗?

代码来自https://github.com/Vict0rSch/deep_learning/tree/master/keras/recurrent

2 个答案:

答案 0 :(得分:2)

如果是keras < 2.0:您需要使用TimeDistributed包装器,以便按顺序将其应用于序列。

如果keras >= 2.0Dense图层默认采用元素方式。

答案 1 :(得分:0)

由于您更新了keras版本并更改了错误消息,因此以下内容适用于我的计算机(Keras 2.0.x)

这有效:

model = Sequential()

model.add(LSTM(10,input_shape=(15, 10), return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM( 100, return_sequences=True))
model.add(Dropout(0.2))
model.add(Dense(1, activation='linear'))

这也有效:

model = Sequential()

model.add(LSTM(10,input_shape=(15, 10), return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM( 100, return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(1,return_sequences=True, activation='linear'))

测试:

x = np.ones((3000,15,10))
y = np.ones((3000,15,1))

编译和培训:

model.compile(optimizer='adam',loss='mse')
model.fit(x,y,epochs=4,verbose=2)