我正在使用Lasagne软件包构建一个简单的卷积网络,并希望添加一个具有简单阈值[max(0,x-threshold)]的ReLu层,但只能找到没有可训练参数的整流器(lasagne.layers.NonlinearityLayer) )或者有一个正相乘的参数(lasagne.layers.ParametricRectifierLayer)。这个图层是存在还是我遗漏了一些明显的东西?
感谢您的帮助!特里
答案 0 :(得分:0)
我不认为存在。原因是你通常在relu之前有一个可训练的层(例如卷积或完全连接),其中包含偏差。通过某种偏差移动数据相当于在relu处具有阈值。 如果你在relu之前没有可训练的图层,你也可以明确添加一个lasagne.layers.BiasLayer(http://lasagne.readthedocs.org/en/latest/modules/layers/special.html)
希望这有帮助
迈克尔