在并行卷积层中共享权重

时间:2019-06-30 12:11:40

标签: niftynet

当前,我正在使用NiftyNet开发一个新的网络,并且需要一些帮助。

我正在尝试实现本文提出的自动对焦层[1]

但是,在某些时候,自动对焦层需要使用相同的权重(w)来计算 K(K = 4)个并行卷积。 >,然后连接四个输出。

是否可以在 NiftyNet 中创建四个具有相同权重的并行卷积层?

谢谢。

[1] https://arxiv.org/pdf/1805.08403.pdf

1 个答案:

答案 0 :(得分:0)

解决此问题的方法如下。

没有限制,允许您多次使用同一卷积层,每次都使用另一个输入。由于只有一个卷积层,因此可以模拟所需的并行度并解决权重分配问题。

但是,使用这种方法并不能解决每个并行层具有不同的膨胀率的问题-如上所述,我们只有一个卷积层用于权重分配问题。

  

注意:使用给定张量作为输入是相同的操作   dilation rate = 2或使用膨胀的卷积层   rate = 2的张量作为dilation rate = 1的卷积层的输入。

因此,创建每个具有不同膨胀率的K个扩张张量,然后将它们用作dilation rate = 1的单个卷积层的输入,解决了具有平行层且每个层具有不同膨胀率的问题。

NiftyNet提供了class来创建扩张的张量。