比方说,我有3个长度相同的序列,对于每个序列,我使用带有lstm单元的递归网络应用TBPTT。我希望在训练过程中,每个子序列的最后一个lstm像元保持隐藏状态和像元状态,所以我用有状态的lstm训练模型。更新参数我将每个子序列的长度作为mini_batch在每个子序列之后应用随机梯度下降。我有个问题。
我知道在随机梯度下降过程中,我应该为每个时期的数据进行随机排序,但是在这种情况下,作为数据链,我该怎么办?我应该改组3个序列而不是每个序列的步骤,还是根本不真正改组?
在无状态的情况下,我应该改组子序列,而不是真正地每一步吗?
对于这两种情况,在测试阶段中,对于有状态情况,我都不应该使用截断序列;对于无状态情况,我应该不使用截断序列?
我想更多地了解有状态情况,然后了解无状态。
已解决:有状态lstm的keras实现不会改组数据,无论如何,我认为在每个时期后改组长序列会更有用