当涉及到多对一RNN时,我主要定义批量大小。
我一直在查看以下文章:https://medium.com/@erikhallstrm/hello-world-rnn-83cd7105b767
这是在多对多RNN上,但批量的定义仍困扰着我。
多对一RNN的批量大小是多少?
这可能会回答我关于纪元和迭代的另外两个混淆。
答案 0 :(得分:1)
在您链接的示例中,序列是形状(N,)
的向量,因为序列包含N
个二进制数。
如果不是数字,形成序列的项目是向量,每个序列的形状为(N, item_size)
。
RNN同时并行处理多个序列。这就是我们所说的批次。并行处理的序列数为batch_size
,RNN输入的形状为(batch_size, N)
。
在多对一方案中,批量大小相同。唯一改变的是输出形状,因为它不是产生大小为(batch_size, N)
的输出,而是仅(batch_size,)
(或(batch_size, 1)
),因为每个序列都将映射到单个输出
总而言之,批量大小是并行处理的序列数,因此多对多和多对一案例之间没有区别。
关于您与时期/迭代的混淆,纪元通常是指迭代整个训练数据集一次,而迭代指的是处理单个批处理以执行一个SGD步骤