如果我理解此权利，则批处理归一化会归一化每一层的激活值。例如，我们计算批次中所有训练图像中第6层神经元4的平均值和激活。然后，当我们获得第6层中神经元4的激活值时，我们将能够进行标准化。如果这是正确的，我该如何规范化我的前馈测试数据？我的测试数据肯定不会成批出现，但仍会经过批归一化层，这肯定会引起我的误解。
但是我们怎么知道预先将激活规范化的内容呢？这是否意味着我们需要并行通过神经网络转发对批次的所有观察？因此，我们针对批次的所有观测值在第二层计算激活，然后进行归一化，然后进行下一层，然后进行下一层，所有这些都同步？