我有疑问： 我总是假设非线性应用于神经网络以计算误差表面的最小值。 如果函数是f（x）= mx + b，则导数总是f'（x）= 1。
这是非线性的原因之一（通过sigmoid函数的例子，导数是f'（x）= f（x）*（1-f（x）））？
非常感谢。
答案 0 :(得分：0)
神经网络是您的问题的模型，进行预测 输入。损失函数是衡量精度的指标 关于观察结果的预测。 “线性”通常指模型。线性模型是非常的 简单的一个：许多有趣的问题可以用线性近似 功能，但通常你需要一个更复杂的模型。 由于线性函数的顺序组合仍然是线性的， 深层网络的表现力源于插入的事实 非线性激活函数调制人工输出 神经元（近似于阈值滤波器）。这些非线性函数 必须是可导出的才能使用反向传播算法。 独立于模型，损失函数可以是“线性的”（L1）， 例如绝对偏差之和，或非线性之和，如 均方残差（L2）或其他不同的损失函数。再次， 损失函数也必须是可导出的。
参见Hinton等人的这个lecture。 讨论具有L2损失函数的简单线性模型 （然后富含乙状结肠激活功能）。