使用TensorFlow服务来服务LSTM模型的最佳方法是什么?
我希望能够执行以下操作:
接收时间步长t
数据(x_t)
以及(c_t-1, h_t-1)
使用接收到的状态更新LSTM单元状态。 (由于模型已在许多用户上运行,因此我们希望获取用户的最新状态并更新模型)
获取模型预测y_t
和(c_t, h_t)
(如果用户回来了,我们可以再次进行预测)。
但是,似乎在当前的基础架构中这还不可能。
最简单的解决方法是在Flask容器中提供Keras模型,在每次预测之前我们调用reset_states
方法。但这似乎更像是骇客。我想知道解决这个问题的最有效方法是什么?
另请参阅问题:Tensorflow Serving - Stateful LSTM