Keras-为特定时间戳恢复LSTM隐藏状态

Question

此问题继续（LSTM - Making predictions on partial sequence）。如上一个问题中所述，我已经训练了有状态 LSTM模型来进行二进制分类，并批量处理了100个样本/标签，如下所示：

[Feature 1,Feature 2, .... ,Feature 3][Label 1]
[Feature 1,Feature 2, .... ,Feature 3][Label 2]
...
[Feature 1,Feature 2, .... ,Feature 3][Label 100]

型号代码：

def build_model(num_samples, num_features, is_training):
    model = Sequential()
    opt = optimizers.Adam(lr=0.0005, beta_1=0.9, beta_2=0.999, epsilon=1e-08, decay=0.0001)

    batch_size = None if is_training else 1
    stateful = False if is_training else True
    first_lstm = LSTM(32, batch_input_shape=(batch_size, num_samples, num_features),  return_sequences=True,
                      activation='tanh', stateful=stateful)

    model.add(first_lstm)
    model.add(LeakyReLU())
    model.add(Dropout(0.2))
    model.add(LSTM(16, return_sequences=True, activation='tanh', stateful=stateful))
    model.add(Dropout(0.2))
    model.add(LeakyReLU())
    model.add(LSTM(8, return_sequences=True, activation='tanh', stateful=stateful))
    model.add(LeakyReLU())
    model.add(Dense(1, activation='sigmoid'))

    if is_training:
        model.compile(loss='binary_crossentropy', optimizer=opt,
                      metrics=['accuracy', f1])
    return model

进行预测时，模型为无状态，批大小为1，并且在每个样本之后都将分类概率取回，如下所示：

[Feature 1,Feature 2, .... ,Feature 10][Label 1] -> (model) -> probability

在模型处理完100个样本后，

调用model.reset_states()。该模型有效，效果很好。

注意：我的数据是来自多个来源的事件。

---

我的问题：

在测试模型时，我可以控制样本的顺序，并且可以确保样本来自同一来源。也就是说，所有前100个样本都来自源1，然后调用model.reset_states()之后，接下来的100个样本都来自源2，依此类推。

但是，在我的生产环境中，样本以异步方式到达，例如：

首先从来源1获得3个样本，然后从来源2获得2个样本，等等”

说明：

---

我的问题：

如何在每个时间戳的特定时间戳上序列化模型状态，所以我可以在每个样本之后保存它，然后在新样本从相同来源到达时将其加载回去。

Answer 1

您可以像这样获取并设置内部状态：

import keras.backend as K

def get_states(model):
    return [K.get_value(s) for s,_ in model.state_updates]

def set_states(model, states):
    for (d,_), s in zip(model.state_updates, states):
        K.set_value(d, s)