我们是否必须缩放神经网络的输入数据？它如何影响神经网络的最终解决方案？
我试图找到一些可靠的消息来源。 “统计学习要素”一书（第400页）表示，它将有助于选择合理的初始随机权重。
无论我们使用的初始随机权重如何，最终权重都不确定吗？
谢谢。
答案 0 :(得分：20)
首先，有很多类型的人工神经网络，我假设你在谈论最简单的一种 - 多层感知器具有反向传播。
其次，在您的问题中，您正在混合数据缩放（规范化）和权重初始化。
您需要随机初始化权重以避免学习时的对称性（如果所有权重最初相同，则其更新也相同）。一般而言，具体值并不重要，但过大的值会导致收敛速度变慢。
您不是必需来规范化数据，但规范化可以使学习过程更快。有关详细信息，请参阅this question。