我注意到api中已有批量规范化函数用于tensorflow。但我不明白的一件事是如何改变训练和测试之间的过程?
批次标准化在测试期间的行为与训练期间不同。特别是在训练期间使用固定的均值和方差。
某处有一些很好的示例代码吗?我看到了一些,但是使用范围变量会让人感到困惑
答案 0 :(得分:9)
你说得对,tf.nn.batch_normalization
只提供了实现批量规范化的基本功能。您必须添加额外的逻辑以跟踪训练期间的移动方式和差异,并在推理期间使用训练的均值和方差。您可以查看此example以获取非常一般的实施方案,但不会使用gamma
的快速版本:
beta = tf.Variable(tf.zeros(shape), name='beta')
moving_mean = tf.Variable(tf.zeros(shape), name='moving_mean',
trainable=False)
moving_variance = tf.Variable(tf.ones(shape),
name='moving_variance',
trainable=False)
control_inputs = []
if is_training:
mean, variance = tf.nn.moments(image, [0, 1, 2])
update_moving_mean = moving_averages.assign_moving_average(
moving_mean, mean, self.decay)
update_moving_variance = moving_averages.assign_moving_average(
moving_variance, variance, self.decay)
control_inputs = [update_moving_mean, update_moving_variance]
else:
mean = moving_mean
variance = moving_variance
with tf.control_dependencies(control_inputs):
return tf.nn.batch_normalization(
image, mean=mean, variance=variance, offset=beta,
scale=None, variance_epsilon=0.001)