Question

我想讨论一下卷积应用于CNN和图像过滤...如果你有一个RGB图像（尺寸为3xIxI）和K过滤器，每个大小3xFxF，那么你最终得到一个Kx(I - F + 1)x(I - F + 1)输出，假设你的步幅是1，你只考虑完全重叠的区域（没有填充）。

从我在卷积中读到的所有材料中，你基本上都会在图像上滑动每个滤镜，并在每个阶段计算大量的点积，然后将它们相加以获得单个值。

例如：

I -> 3x5x5 matrix
F -> 3x2x2 matrix
I * F -> 1x4x4 matrix

（假设*是卷积运算。）

现在，由于您的内核和图像都具有相同数量的通道，因此您最终将3D卷积分离为多个并行2D卷积，然后进行矩阵求和。

因此，上述示例应该用于所有意图和目的（假设没有填充，我们只考虑完全重叠的区域）与此相同：

I -> 3x5x5 matrix
F -> 3x2x2 matrix
(I[0] * F[0]) + (I[1] * F[1]) + (I[2] * F[2]) -> 1x4x4 matrix

我只是将每个频道分开并独立地对它们进行卷积。如果我错了，请仔细看看并纠正我。

现在，假设这是有道理的，我在python中进行了以下实验。

import scipy.signal
import numpy as np
import test

x = np.random.randint(0, 10, (3, 5, 5)).astype(np.float32)
w = np.random.randint(0, 10, (3, 2, 2)).astype(np.float32)

r1 = np.sum([scipy.signal.convolve(x[i], w[i], 'valid') for i in range(3)], axis=0).reshape(1, 4, 4)

r2 = scipy.signal.convolve(x, w, 'valid')

print r1.shape
print r1

print r2.shape
print r2

这给了我以下结果：

(1, 4, 4)
[[[ 268.  229.  297.  305.]
  [ 256.  292.  322.  190.]
  [ 173.  240.  283.  243.]
  [ 291.  271.  302.  346.]]]
(1, 4, 4)
[[[ 247.  229.  291.  263.]
  [ 198.  297.  342.  233.]
  [ 208.  268.  268.  185.]
  [ 276.  272.  280.  372.]]]

我想知道这是否是由于：

scipy中的错误（不太可能）
我的计划中的错误（更有可能）
我对重叠卷积的误解（最有可能）

或以上的任何组合。谢谢你的阅读！

Answer 1

您写道：

......与此相同：

I -> 3x5x5 matrix
F -> 3x2x2 matrix
(I[0] * F[0]) + (I[1] * F[1]) + (I[2] * F[2]) -> 1x4x4 matrix

你忘记了卷积反转其中一个参数。所以上述情况并非如此。相反，最后一行应该是：

(I[0] * F[2]) + (I[1] * F[1]) + (I[2] * F[0]) -> 1x4x4 matrix

例如，

In [28]: r1 = np.sum([scipy.signal.convolve(x[i], w[2-i], 'valid') for i in range(3)], axis=0).reshape(1, 4, 4)

In [29]: r2 = scipy.signal.convolve(x, w, 'valid')

In [30]: r1
Out[30]: 
array([[[ 169.,  223.,  277.,  199.],
        [ 226.,  213.,  206.,  247.],
        [ 192.,  252.,  332.,  369.],
        [ 167.,  266.,  321.,  323.]]], dtype=float32)

In [31]: r2
Out[31]: 
array([[[ 169.,  223.,  277.,  199.],
        [ 226.,  213.,  206.,  247.],
        [ 192.,  252.,  332.,  369.],
        [ 167.,  266.,  321.,  323.]]], dtype=float32)

scipy.signal的convolve与计算结果不同

1 个答案: