我需要逐段读取序列,并且我正在使用Dataset
管道来利用I / O并行性。
但是,我还需要提供一些不属于Dataset
管道的数据(LSTM状态)。
为此,我需要获取Dataset
产生的序列ID,获取相应的状态,并将该状态馈送到网络。
但是,每当我读取get_next()
返回的值时,它就会前进到下一批。
我想我可以将批处理存储到一些不可训练的Variable
中,但是我的序列很大(这就是我从大块开始读取它们的原因),因此这将浪费大量内存。我已经在记忆方面受到限制的情况。
是否有更好的选择来解决这个看似简单的问题?