图像分割结果中的噪声

Question

我正在做一个基于深度卷积神经网络的图像分割任务。网络结构来自this paper，结构可以在图片中看到：FCN used in image segmentation。该网络基于Fully Convolutional Network和DCAN设计。

该数据集是MICCAI 2015中Gland Segmentation Chalenge Contest的公共基准数据集（也称为Warwick-QU数据集。）

我使用此网络执行分段任务。然而，在我的结果中，我总是注意到预测图像中的一个固定的噪声模式：小白色交叉：Prediction results with crossing shape noise

有人可以解释这些噪点像素的含义吗？它们是图像处理中常见的噪音吗？值得注意的是，这种现象不仅出现在特定的图像中，而且出现在整个预测中。

Answer 1

这些交叉形状的噪声是由我网络中的反卷积层引起的，它是通过改变反卷积层中的内核大小来解决的。

首先，我们应该了解deconvolutonal层是如何工作的。可以找到一个清晰的插图here。我们需要记住的是，去卷积中的步幅有助于放大要素图的大小。

回到这个例子。假设我们有一个 32x32 的特征映射，我们希望得到大小为 256x256 的特征映射，所以我们必须使用具有的deconvolutional层强> 8x8 进行反卷积，因此很多零像素被添加到特征图中，这就是为什么会出现这种交叉形状的原因。为了解决这个问题，我们必须将内核大小扩大两倍。在上面的示例中，我们需要选择 16x16 内核，以便我们的过滤器不会落入这些零。

结果图片可在此处显示：result
我们可以清楚地看到，与问题所附的图片相比，交叉形噪声被消除了。