Skip Connections的科学解释

Question

我正在搜索 关于跳过连接的科学工作 。

每个人都在谈论通过网络改善梯度流，这感觉就像是有意义的。但是 我很想理解并阅读在数学和代码 时的含义以及如何深入 在tensorflow中实现这一点 即可。

除resnet paper之外，我还没有找到关于那些神奇跳过连接的深入内容。

我很喜欢所有的提示，论文和方程式。

Answer 1

除了可以改善渐变流的事实外，我不确定是否有其他事情发生，因为当来自上一层的信息不需要太多更改时，它可以轻松学习。除此之外，我想说它与RNN类似，在RNN中，对于较大的时间步，它往往会忘记早期层的依赖性。类似地，当您有一个CNN网络时，我们使用池化层来减小输入的大小以变得更小，这是以某些信息为代价的，因此它有助于在我们可以从较早的层和较晚的层中获取的信息之间建立依赖性。

希望有帮助。