BatchNorm动量约定PyTorch

Question

batchnorm momentum convention（默认值= 0.1）是否与其他库一样正确，例如Tensorflow默认情况下通常为0.9或0.99？或许我们只是使用不同的惯例？

Answer 1

似乎参数化约定在pytorch中不同于tensorflow，因此pytorch中的0.1相当于张量流中的0.9。

更确切地说：

在Tensorflow中：

running_mean = decay*running_mean + (1-decay)*new_value

在PyTorch中：

running_mean = (1-decay)*running_mean + decay*new_value

这意味着PyTorch中的decay值等同于Tensorflow中的值(1-decay)。