卷积核初始化

Question

考虑输入形状为L * L * 10的卷积。取Kernal size = K和filter size = F，则内核形状为（K，K，10，F）。现在，我们不必初始化内核中的所有权重，而是可以仅初始化内核的上半三角形部分（尺寸为0和1），然后形成要在卷积层中使用的整个内核。

在这里，我只想使用（K *（K + 1）/ 2）* 10 * F个可训练参数的数量，而不是K * K * 10 * F以减少参数的数量，并且使用对称性有助于训练网络。