批量大小,Epoch和多对一RNN中的迭代

时间:2018-04-19 07:46:03

标签: tensorflow neural-network recurrent-neural-network

当涉及到多对一RNN时,我主要定义批量大小。

我一直在查看以下文章:https://medium.com/@erikhallstrm/hello-world-rnn-83cd7105b767

这是在多对多RNN上,但批量的定义仍困扰着我。

多对一RNN的批量大小是多少?

这可能会回答我关于纪元和迭代的另外两个混淆。

1 个答案:

答案 0 :(得分:1)

在您链接的示例中,序列是形状(N,)的向量,因为序列包含N个二进制数。

如果不是数字,形成序列的项目是向量,每个序列的形状为(N, item_size)

RNN同时并行处理多个序列。这就是我们所说的批次。并行处理的序列数为batch_size,RNN输入的形状为(batch_size, N)

在多对一方案中,批量大小相同。唯一改变的是输出形状,因为它不是产生大小为(batch_size, N)的输出,而是仅(batch_size,)(或(batch_size, 1)),因为每个序列都将映射到单个输出

总而言之,批量大小是并行处理的序列数,因此多对多和多对一案例之间没有区别。

关于您与时期/迭代的混淆,纪元通常是指迭代整个训练数据集一次,而迭代指的是处理单个批处理以执行一个SGD步骤