ReLu在烤宽面条中有一个阈值

时间:2016-03-17 20:01:52

标签: theano deep-learning lasagne

我正在使用Lasagne软件包构建一个简单的卷积网络,并希望添加一个具有简单阈值[max(0,x-threshold)]的ReLu层,但只能找到没有可训练参数的整流器(lasagne.layers.NonlinearityLayer) )或者有一个正相乘的参数(lasagne.layers.ParametricRectifierLayer)。这个图层是存在还是我遗漏了一些明显的东西?

感谢您的帮助!特里

1 个答案:

答案 0 :(得分:0)

我不认为存在。原因是你通常在relu之前有一个可训练的层(例如卷积或完全连接),其中包含偏差。通过某种偏差移动数据相当于在relu处具有阈值。 如果你在relu之前没有可训练的图层,你也可以明确添加一个lasagne.layers.BiasLayer(http://lasagne.readthedocs.org/en/latest/modules/layers/special.html

希望这有帮助

迈克尔