将特征图与其自身卷积

Question

我使用TensorFlow 1.12

我想提取一批特征图[B,H,W,C]，并希望将每个通道与自身进行卷积。

tf.map_fn可能可以实现，但是我想让这些操作尽可能地矢量化。

实现它的最佳矢量化方法是什么？

Answer 1

每个通道都是一个图像。在这种情况下，使用convolution theorem在傅立叶域中最有效地实现了对图像本身进行卷积。它指出图像彼此的卷积与其傅里叶变换的点积的傅里叶逆变换相同。将其分为步骤：

1. （可选）pad the images with zeros
2. Fourier transform两张图片。
3. 计算傅立叶变换的点积。
4. Inverse Fourier transform。

两个图像相同是一种特殊情况。