实现残差块

Question

在传统的剩余区块中，是＆＃34;添加＆＃34;层N到层N + 2的输出（非线性之前）元素加法或串联？

文献表明这样：

X1 = X
X2 = relu(conv(X1))
X3 = conv(X2)
X4 = relu(conv(X3 + X1))

Answer 1

它必须是元素方面的，连接时你不会得到残余函数。人们还应该注意使用正确的填充模式，因此卷积产生的输出具有与块输入相同的空间维度。