回归问题的神经网络（或类似）

Question

神经网络背后的激励理念似乎是他们学习了应用逻辑回归的“正确”特征。线性回归是否有类似的方法？ （或者只是回归问题？）

为所有神经元（即包括隐藏层）删除sigmoid函数的应用程序是否明显有意义/工作？ （即，每个神经元都在执行线性回归而不是逻辑回归）。

或者，只是将输出值缩放到[0,1]会做（甚至更明显）的事情吗？ （直觉上我想不会，因为sigmoid函数似乎会导致网络任意支持极值）（编辑：虽然我只是搜索更多，并看到一种技术是基于均值和方差来缩放，这似乎可能会解决这个问题 - 所以这可能比我想象的更可行。

还是有其他技术可以为回归问题进行“特征学习”吗？

Answer 1

查看此applet。尝试学习不同的功能。当您在隐藏层和输出层指定线性激活函数时，它甚至无法学习二次函数。至少需要将一个图层设置为sigmoid函数，请参见下图。

有不同种类的缩放。如您所述，标准缩放消除了训练样本的均值和标准偏差的影响，最常用于机器学习。只需确保您在测试样本中使用与训练样本相同的均值和标准值。

需要缩放的原因是因为sigmoid函数的输出范围为（0,1）。我没试过，但我认为即使你在输出层选择线性函数也可以扩展输出。否则隐藏层（带有sigmoid）的大输入将不会导致输出剧烈（当输入处于较小范围时，S形函数近似为线性，超出此范围将使输出变化非常缓慢）。您可以在自己的数据中自行尝试。

此外，如果您有各种功能，还建议使用相同比例制作不同功能的功能标准化。缩放通过避免在一个或多个特征比其余特征具有更大的值时所需的许多额外迭代来加速梯度下降。

正如@Ray所提到的，deep learning涉及多个级别的功能可以帮助您进行功能学习，但并非所有线性组合都可以。