如何在tensorflow中自定义ops / layer之后添加slim.batch_norm?

时间:2018-01-20 14:10:12

标签: tensorflow deep-learning tf-slim batch-normalization tensorflow-slim

我有一个旨在构建架构的功能

Input(x) -> o=My_ops(x,128) -> o=slim.batch_norm(o)

所以,我的功能是

def _build_block(self, x, name, is_training=True):
  with tf.variable_scope(name) as scope:
    o = my_ops(x, 256)
    batch_norm_params = {
      'decay': 0.9997,
      'epsilon': 1e-5,
      'scale': True,
      'updates_collections': tf.GraphKeys.UPDATE_OPS,
      'fused': None,  # Use fused batch norm if possible.
      'is_training': is_training
    }
    with slim.arg_scope([slim.batch_norm], **batch_norm_params) as bn:
      return slim.batch_norm(o)

我是对的吗?我可以在上面的函数中设置is_training吗?如果没有,你能解决这个问题吗?

1 个答案:

答案 0 :(得分:1)

你的功能还可以。是的,您可以将is_training设置为slim.batch_norm

但是你的代码看起来不必要地复杂了。这是一个等效版本:

def _build_block(self, x, name, is_training=True):
  with tf.variable_scope(name):
    o = my_ops(x, 256)
    return slim.batch_norm(o, decay=0.9997, epsilon=1e-5, scale=True, is_training=is_training)

请注意,我删除了arg_scope(因为它的主要用例是重复 多个层的相同参数,你只有一),省略updates_collections=tf.GraphKeys.UPDATE_OPSfused=None(因为这些是默认值),删除as scope(因为它未被使用)。