如何使用泄漏的ReLus作为pylearn2隐藏层中的激活函数

时间:2015-04-20 05:18:32

标签: machine-learning theano conv-neural-network pylearn

我正在使用pylearn2库来设计CNN。我想在一层使用Leaky ReLus作为激活功能。有没有办法用pylearn2做到这一点?我是否必须为其编写自定义函数,或者pylearn2是否具有内置功能?如果是这样,如何编写自定义代码?请有人帮帮我吗?

1 个答案:

答案 0 :(得分:0)

ConvElemwise super-class是一个通用的卷积元素层。其子类ConvRectifiedLinear中有一个使用RectifierConvNonlinearity类的卷积校正线性层。

apply()方法中:

    p = linear_response * (linear_response > 0.) + self.left_slope *\
        linear_response * (linear_response < 0.)

正如this温和的评论指出:

  

... Maxout neuron(最近由Goodfellow et al.介绍),概括了ReLU及其漏洞版本。

示例包括MaxoutLocalC01BMaxoutConvC01B

pylearn2-user中缺少答案的原因可能是pylearn2主要由LISA lab的研究撰写,因此,FAQ中的第13点的阈值可能高。