为什么在tensorflow中构建resnet模型时使用固定填充

Question

Tensorflow正式实现了github中的resnet。它使用固定填充而不是普通的tf.layers.conv2d。

这样的事情：

def conv2d_fixed_padding(inputs, filters, kernel_size, strides, data_format):
  """Strided 2-D convolution with explicit padding."""
  # The padding is consistent and is based only on `kernel_size`, not on the
  # dimensions of `inputs` (as opposed to using `tf.layers.conv2d` alone).
  if strides > 1:
    inputs = fixed_padding(inputs, kernel_size, data_format)

  return tf.layers.conv2d(
      inputs=inputs, filters=filters, kernel_size=kernel_size, strides=strides,
      padding=('SAME' if strides == 1 else 'VALID'), use_bias=False,
      kernel_initializer=tf.variance_scaling_initializer(),
      data_format=data_format)

这样做的目的是什么？如果我们输入一个大小为32x32的图像并使用tf.layer.conv2d设置填充方法到SAME，我们可以得到一个16x16的特征映射，步长为2.但在上面的代码中，它将在图像的两侧填充零，然后使用填充方法VALID。

Answer 1

假设我们的步幅为2，内核大小为3。

使用tf.layers.conv2d填充SAME：

案例1：

                   pad|              |pad
       inputs:      0 |1  2  3  4  5 |0 
                   |_______|
                         |_______|
                               |_______|

案例2：

                                     |pad
       inputs:      1  2  3  4  5  6 |0 
                   |_______|
                         |_______|
                               |_______|

您可以看到填充将取决于输入大小。确定具有相同的填充，使得输出大小为Math.ceil(input_size / stride)。您可以阅读有关here的更多信息。

使用resnet的固定填充实现：

案例1：

                   pad|              |pad
       inputs:      0 |1  2  3  4  5 |0 
                   |_______|
                         |_______|
                               |_______|

案例2：

                   pad|                 |pad
       inputs:      0 |1  2  3  4  5  6 |0 
                   |_______|
                         |_______|
                               |_______|

填充由内核大小唯一定义，并且与输入大小无关。

Answer 2

如您所知RNN有这些跳过连接，网络如下所示：

，等式如下：

F(x) + x   // Here 'x' is not input but the the kernel/filter. 

因此，通过此添加，我们假设F(x)和x的维度相同。但如果不是这样，我们必须填写它们以便进行卷积。

这就是ResNet TF model

中所有卷积的padding="SAME"填充的原因