Keras LSTM自动编码器时间序列重建

Question

我正在尝试使用LSTM Autoencoder（Keras）重建时间序列数据。 现在，我想在少量样本上训练自动编码器（5个样本，每个样本的长度为500个时间步长，并且具有1维）。我要确保该模型可以重建5个样本，然后再使用所有数据（6000个样本）。

window_size = 500
features = 1
data = data.reshape(5, window_size, features)

model = Sequential()

model.add(LSTM(256, input_shape=(window_size, features), 
return_sequences=True))
model.add(LSTM(128, input_shape=(window_size, features), 
return_sequences=False))
model.add(RepeatVector(window_size))

model.add(LSTM(128, input_shape=(window_size, features), 
return_sequences=True))
model.add(LSTM(256, input_shape=(window_size, features), 
return_sequences=True))
model.add(TimeDistributed(Dense(1)))

model.compile(optimizer='adam', loss='mse')
model.fit(data, data, epochs=100, verbose=1)

Model

培训：

Epoch 1/100
5/5 [==============================] - 2s 384ms/step - loss: 0.1603
...
Epoch 100/100
5/5 [==============================] - 2s 388ms/step - loss: 0.0018

训练后，我尝试重建5个样本之一：

yhat = model.predict(np.expand_dims(data[1,:,:], axis=0), verbose=0)

Reconstion (blue) vs Input (orange)

当损失很小时，为什么重建如此糟糕？如何改善模型？谢谢。

Answer 1

在我看来，应该以以下格式为LSTM提供时间序列：

 (samples, features , window_size)

例如，如果您更改格式，我交换了变量，然后查看结果：

用于再现结果的代码（我没有更改变量的名称，所以请不要感到困惑：））：

import numpy as np
import keras
from keras import Sequential
from keras.layers import Dense, RepeatVector,        TimeDistributed
from keras.layers import LSTM

N = 10000
data = np.random.uniform(-0.1, 0.1, size=(N, 500))
data = data.cumsum(axis=1)
print(data.shape)
window_size = 1
features = 500
data = data.reshape(N, window_size, features)

model = Sequential()

model.add(LSTM(32, input_shape=
(window_size,features), 
return_sequences=True))
model.add(LSTM(16, input_shape=(window_size,   
features), 
return_sequences=False))
model.add(RepeatVector(window_size))

model.add(LSTM(16, input_shape=(window_size, 
features), 
return_sequences=True))
model.add(LSTM(32, input_shape=(window_size,   
features), 
return_sequences=True))
model.add(TimeDistributed(Dense(500)))

model.compile(optimizer='adam', loss='mse')
model.fit(data, data, epochs=100, verbose=1)


yhat = model.predict(np.expand_dims(data[1,:,:],   axis=0), verbose=0)
plot(np.arange(500), yhat[0,0,:])
plot(np.arange(500), data[1,0,:])

向sobe86致谢：我使用了他/她提出的数据。

Answer 2

我尝试对以下数据运行您的代码

data = np.random.uniform(-0.1, 0.1, size=(5, 500))
data = data.cumsum(axis=1)

所以数据只是一些随机均匀噪声的总和。我跑了1000个纪元，但结果却不如您想的好，尽管LSTM似乎徘徊在均线附近（正如人们所期望的那样），但LSTM似乎在做出努力。

请注意，这是在TRAINING数据上运行模型（您似乎暗示您在问题中所做的事情）-如果我们尝试查看未经训练的数据的性能，则可能会得出错误的结果

这至少不足为奇，因为只有这么小的训练集，我们应该完全期望模型过拟合，而不是将其推广到新数据。