如何使用泄漏的ReLus作为pylearn2隐藏层中的激活函数

Question

我正在使用pylearn2库来设计CNN。我想在一层使用Leaky ReLus作为激活功能。有没有办法用pylearn2做到这一点？我是否必须为其编写自定义函数，或者pylearn2是否具有内置功能？如果是这样，如何编写自定义代码？请有人帮帮我吗？

Answer 1

ConvElemwise super-class是一个通用的卷积元素层。其子类ConvRectifiedLinear中有一个使用RectifierConvNonlinearity类的卷积校正线性层。

在apply()方法中：

    p = linear_response * (linear_response > 0.) + self.left_slope *\
        linear_response * (linear_response < 0.)

正如this温和的评论指出：

  

... Maxout neuron（最近由Goodfellow et al.介绍），概括了ReLU及其漏洞版本。

示例包括MaxoutLocalC01B或MaxoutConvC01B。

pylearn2-user中缺少答案的原因可能是pylearn2主要由LISA lab的研究撰写，因此，FAQ中的第13点的阈值可能高。