Question

我有一个3通道的5×5图像：

1 1 1 1 1    2 2 2 2 2    3 3 3 3 3
1 1 1 1 1    2 2 2 2 2    3 3 3 3 3
1 1 1 1 1    2 2 2 2 2    3 3 3 3 3
1 1 1 1 1    2 2 2 2 2    3 3 3 3 3
1 1 1 1 1    2 2 2 2 2    3 3 3 3 3

这样的3通道3×3滤波器：

10 20 30   0.1 0.2 0.3   1 2 3
40 50 60   0.4 0.5 0.6   4 5 6
70 80 90   0.7 0.8 0.9   7 8 9

当使用过滤器对图像进行卷积时，我期待这个输出：

369.6  514.8  316.8
435.6  594.   356.4
211.2  277.2  158.4

然而，Theano（使用keras）给了我这个输出：

158.4   277.2  211.2
356.4   594.   435.6 
316.8   514.8  369.6

似乎输出旋转180度，我想知道为什么会发生这种情况，我怎样才能得到正确答案。这是我的测试代码：

def SimpleNet(weight_array,biases_array):
    model = Sequential()
    model.add(ZeroPadding2D(padding=(1,1),input_shape=(3,5,5)))
    model.add(Convolution2D(1, 3, 3, weights=[weight_array,biases_array],border_mode='valid',subsample=(2,2)))

    return model
im = np.asarray([
        1,1,1,1,1,
        1,1,1,1,1,
        1,1,1,1,1,
        1,1,1,1,1,
        1,1,1,1,1,
        2,2,2,2,2,
        2,2,2,2,2,
        2,2,2,2,2,
        2,2,2,2,2,
        2,2,2,2,2,
        3,3,3,3,3,
        3,3,3,3,3,
        3,3,3,3,3,
        3,3,3,3,3,
        3,3,3,3,3])

weight_array = np.asarray([
                10,20,30,
                40,50,60,
                70,80,90,
                0.1,0.2,0.3,
                0.4,0.5,0.6,
                0.7,0.8,0.9,
                1,2,3,
                4,5,6,
                7,8,9])

im = np.reshape(im,[1,3,5,5])
weight_array = np.reshape(weight_array,[1,3,3,3])
biases_array = np.zeros(1)

model = SimpleNet(weight_array,biases_array)

sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(optimizer=sgd, loss='categorical_crossentropy')
out = model.predict(im)
print out.shape
print out

Answer 1

这是卷积的定义。它的优点是，如果您将一个仅包含零的图像卷积，除了一个单独的1，则卷积将在该位置放置一个过滤器的副本。

Theano正是按照数学方式确定了这些卷积。这意味着在使用带有图像补丁的点积之前翻转过滤器（操作为filter[:, :, ::-1, ::-1]）。请注意，这些旋转不是180度，至少不是一般。

您正在寻找的是互相关，即在图像的每个点使用滤镜的非翻转版本的点积。

另请参阅this answer，其中显示的theano.tensor.nnet.conv2d与scipy对应的内容完全相同。

Theano中的卷积是否会旋转过滤器？

1 个答案: