深度神经网络的非线性意味着什么？

Question

当我们说“深度神经网络的非线性”时，在这种情况下，我们用“非线性”这个词实际上是什么意思？

此外，激活功能的目的是将非线性引入网络。这种非线性意味着什么？ （我是深度学习的新手。）

Answer 1

非线性意味着无法从输入的线性组合中再现输出（这与输出到直线的输出不同 - 这个词是仿射的。）

另一种思考方式：在网络中没有非线性激活功能，NN，无论它有多少层，都会表现得像单层感知器，因为总结这些层会给你带来的好处另一个线性函数（见上面的定义）。

Source