神经网络中的哪些层使用激活函数？

Question

神经网络的输入层是使用激活函数，还是只是隐藏和输出层？

Answer 1

隐藏和输出层神经元具有激活功能，但输入层神经元没有，输入层只是获取输入并将其与唯一权重相乘。激活功能对接收的输入执行转换。

Answer 2

这是斯坦福大学NN课堂上用于视觉识别的3层神经网络图。

两个隐藏层将始终具有激活功能。输出层可能有也可能没有激活功能：对于二进制分类，您可能有一个sigmoid函数来压缩输出，但对于回归，您通常不会有激活函数。

为清楚起见，隐藏层计算：

output = activation_function(W x inputs + b)

您可能知道，activation_function()可能是sigmoid，tanh，ReLU或其他。