读取数据集产生的最新价值而无需前进到下一个?

时间:2018-08-02 15:04:08

标签: python tensorflow lstm tensorflow-datasets

我需要逐段读取序列,并且我正在使用Dataset管道来利用I / O并行性。

但是,我还需要提供一些不属于Dataset管道的数据(LSTM状态)。

为此,我需要获取Dataset产生的序列ID,获取相应的状态,并将该状态馈送到网络。

但是,每当我读取get_next()返回的值时,它就会前进到下一批。

我想我可以将批处理存储到一些不可训练的Variable中,但是我的序列很大(这就是我从大块开始读取它们的原因),因此这将浪费大量内存。我已经在记忆方面受到限制的情况。

是否有更好的选择来解决这个看似简单的问题?

0 个答案:

没有答案