在不同尺度神经网络上缩放输入

Question

我正在研究Neural Network模型，我想知道我应该如何扩展我的输入。

目前，我只是使用mean = 0 / std(Standard Deviation) = 1将所有输入扩展为输入。但是，我的输入并非全部normally分发。有些是正态分布的，有些是线性分布的。

我应该如何处理和扩展我的输入？是否可以使用mean = 0＆amp; std = 1并线性扩展其他输入？

谢谢！ 保罗

Answer 1

缩放对构建神经网络唯一的附加值是避免训练错误和更快收敛。从理论上讲，无论使用何种缩放（或者在不同的输入神经元中使用不同的缩放方法），您都应该获得相同的结果。只要您不改变数据的基本结构，就应该没问题。

理想情况下，您应该使用单一缩放方法，而不考虑输入的分布，因为它意味着使所有输入彼此相当。您也可以选择不同的缩放方法。您的问题没有正确的答案，大多数答案都倾向于使用一些经验信息来选择缩放方法。这取决于您的数据。

从统计学角度讲，您应该首先在没有缩放的情况下训练网络来开始模型创建。如果您的网络没有收敛，您可以尝试通过播放迭代次数和初始权重来克服培训问题。如果这不起作用，那么继续缩放，最终区分缩放。