为什么在U-net的上采样层中没有激活功能？

Question

在U-net中，所有层都具有激活功能，但在上采样层中似乎没有激活功能（这是使用转置卷积完成的）。为什么这比具有激活功能的效率更高？

据我了解，激活函数具有非线性。因此，这个问题确实是，在转置卷积中保持线性但在常规卷积中保持 non 线性有什么好处？在这些层中具有激活功能不是总是总是最好的吗？

我唯一的直觉是，也许他们试图使升采样与常规形态学插值方法紧密相关。

Answer 1

我认为您的解释是正确的：由于体系结构具有更好的可解释性，他们只是试图使过程类似于经典插值法进行的上采样（尽管仍然允许网络具有灵活性，但仍然可以学习最佳权重）以进行上采样）。通常，如果要添加更多的非线性，可以在该级别之后输入任何所需的激活函数（例如ReLU），但以我个人的经验，我会说性能不会有太大变化。