mxnet:具有共享掩码的多个dropout层

时间:2017-01-15 04:29:09

标签: python r neural-network recurrent-neural-network mxnet

我希望重现一个递归神经网络,其中每个时间层后面都有一个丢失层,这些丢失层共享它们的掩码。此结构在A Theoretically Grounded Application of Dropout in Recurrent Neural Networks中有所描述。

据我所知,在MXNet中实现的循环网络模型在时间层之间没有应用任何丢失层; dropoutR APIPython API等函数的lstm参数实际上定义了输入的丢失。因此,我需要从头开始重新实现这些功能。

但是,Dropout图层似乎没有采用将mask定义为参数的变量。

是否可以在计算图的不同位置制作多个丢失图层,然后共享其掩码?

1 个答案:

答案 0 :(得分:1)

根据讨论here,无法指定掩码,使用随机种子对dropout的随机数生成器没有影响。