虚拟批量标准化和批量标准化有什么区别？

Question

我知道批量标准化是什么，但我还没有完全了解如何进行虚拟批量标准化。你如何选择参考样品？

Answer 1

区别在于，前者的每个批次x都是根据在参考样本中收集的统计数据进行归一化的，这些参考样本被选择一次并在训练开始时进行了固定，而在后者中，该批次本身就进行了归一化。后者受每个小批量生产中样本相互依存的困扰。

我认为这就像您在locally weighted linear regression中选择查询点的方式一样。您只需根据自己的经验选择一个即可。

实际上，demo in the official repository仅在开始训练时才使用第一批。

if not hasattr(self, name):
    vbn = VBN_cls(tensor, name, half=half)
    setattr(self, name, vbn)
    return vbn.reference_output

如果在整个培训过程中保持不变，则可以选择任何批次作为参考批次。