Question

我们在Android上运行了一个有效的TensorFlow网络（graphdef），我注意到随着时间的推移推断结果往往是相关的。也就是说，如果返回标签A，那么即使输入数据切换到应该生成B标签的数据，也会有及时的A流。最终，结果将切换到B，但似乎存在延迟并且表明RNN在推理调用之间是有状态的。我们的网络使用RNN / LSTM。

cellLSTM    = tf.nn.rnn_cell.BasicLSTMCell(nHidden)
cellsLSTM   = tf.nn.rnn_cell.MultiRNNCell([cellLSTM] * 2)
RNNout, RNNstates = tf.nn.rnn(cellsLSTM, Xin)

我想知道是否需要在推理调用之间重新初始化RNN状态。我会注意到TensorFlowInferenceInterface.java接口中没有这样的方法。我想可以将RNN单元初始化节点插入到可以用节点值激活的图形中（使用FillNodeInt或类似方法）。

所以我的问题是：在Tensorflow中使用RNN / LSTM的最佳做法是什么。是否需要在推论之间清除状态？如果是这样，那怎么做呢？

Answer 1

是否需要在推理之间清除状态？

我认为这取决于如何训练RNN以及如何使用它。但是，我猜想无论有没有重置状态，网络都可以正常工作。

如何做到这一点？

评估与初始状态关联的每个张量的初始化操作。

Answer 2

虽然我无法对RNN状态初始化的一般做法发表评论，但以下是我们如何设法强制初始状态定义。问题是虽然批量大小确实是训练集的常量参数，但它不适用于测试集。测试集始终是数据语料库的20％，因此每次更改语料库时其大小都不同解决方案是为batchsize创建一个新变量：

Xin

其中b是输入张量大小[b x m x n]，其中m x n是批量大小，feed_dict是训练框架的大小。辛从initial_state = lstm_cells.zero_state(batch_size_T, tf.float32)进入。

然后可以将初始状态定义为：

outputs, state = tf.nn.dynamic_rnn(cell=lstm_cells, inputs=Xin, dtype=tf.float32, initial_state=initial_state)

最后，RNN是根据新的动态RNN定义的：

<input type="text" ng-model="choice.text"></p>
<p ng-bind="choice.text"></p>

TensorFlow：在Android

2 个答案: