线性激活层与无激活层

Question

我正在和Keras一起玩，我在想线性激活层和根本没有激活层之间的区别是什么？它不具有相同的行为吗？如果是这样，那么线性激活的意义何在？

我的意思是这两个代码段之间的区别：

 model.add(Dense(1500))
 model.add(Activation('linear'))
 model.add(Dense(1500))

和

 model.add(Dense(1500))
 model.add(Dense(1500))

Answer 1

您是对的，您的代码段没有区别：两者都使用线性激活。

激活函数确定它是否是非线性的（例如sigmoid是非线性激活函数）：

model.add(Dense(1500))
model.add(Dense(1500, activation='sigmoid'))

7 Common Nonlinear Activation Functions and How to Choose an Activation Function

Answer 2

如果您不在密集层中分配，则为线性激活。这是来自keras documentation。

  

激活：要使用的激活功能（请参阅激活）。如果您未指定任何内容，则不应用任何激活（即“线性”激活：a（x）= x）

如果您想使用Activation以外的其他语言，则只能添加'linear'。

model.add(Dense(1500))
model.add(Activation('relu'))
model.add(Dense(1500))