Question

我试图在Keras中使用具有ELU激活功能和参数alpha的某个值的激活层。

我想使用标准激活层Activation('elu')。

为keras/activations.py中的alpha激活功能定义了参数elu()。默认值为alpha=1.0。

如何将不同的alpha值传递给Activation('elu')层？

设置

Activation('elu').activation.__defaults__ = (val,)

似乎是更改默认值的一种方法，但是我不知道这是明智的选择还是确实具有预期的效果。

我正在寻找不涉及lambda函数的解决方案。

我知道ELU()层存在（“高级激活功能”），在这里我可以直接设置alpha的值：ELU(alpha=val)，但是我想知道如何设置{ alpha层的{1}}参数。

我正在使用Python 2.7和Keras 2.0.5。

Answer 1

您可以在模型外调用激活函数，然后添加它，如下所示：

import keras

elu_activation = keras.activations.elu(x, alpha=0.9)


model = Sequential()
...
model.add(Dense(32 , activation=elu_activation))
...

Here是指向文档的链接

Answer 2

您可以使用lambda函数执行此操作：

from keras.activations import elu

custom_elu = lambda x: elu(x, alpha=0.4)

然后将Activation(custom_elu)添加到模型中。

Answer 3

使用

keras.layers.ELU(alpha=1.0)