FCN中的补丁培训和完全卷积训练

Question

在FCN paper中，作者讨论了补丁智能训练和完全卷积训练。这两者有什么区别？

请参阅以下所附的section 4.4。

在我看来，培训机制如下， 假设原始图像为M*M，然后迭代M*M像素以提取N*N补丁（其中N<M）。迭代步幅可以像N/3这样的数字来生成重叠的补丁。此外，假设每个单个图像对应20个补丁，那么我们可以将这些20补丁或60补丁（如果我们想要有3个图像）放入一个小批量进行训练。这种理解对吗？在我看来，这种所谓的完全卷积训练与补丁式训练相同。

Answer 1

术语“完全卷积训练”仅意味着用卷积层替换完全连接的层，以便整个网络只包含卷积层（和池化层）。

术语“Patchwise training”旨在避免全图像训练的冗余。 在语义分割中，假设您使用整个图像对图像中的每个像素进行分类，则会在输入中添加大量冗余。在训练分段网络期间避免这种情况的标准方法是从训练集而不是完整图像向网络馈送批量随机补丁（围绕感兴趣对象的小图像区域）。这种“补丁采样”确保输入具有足够的方差并且是训练数据集的有效表示（小批量应该具有与训练集相同的分布）。这种技术还有助于更快地收敛并平衡类。在本文中，他们声称没有必要使用补丁培训，如果你想平衡课程，你可以加权或抽样。 从不同的角度来看，每像素分割中的全图像训练的问题在于输入图像具有许多空间相关性。要解决此问题，您可以从训练集（补丁训练）中对补丁进行采样，或者从整个图像中抽取损失。这就是为什么这个小节叫做“Patchwise training is loss sampling”。 因此，通过“将损失限制为其空间项的随机采样子集，从梯度计算中排除补丁。”他们通过随机忽略最后一层的细胞来尝试这种“损失采样”，因此不会在整个图像上计算损失。