sigmoid - 反向传播神经网络

Question

我正在尝试创建一个可用于信用评分的样本神经网络。因为这对我来说是一个复杂的结构，所以我首先想要先学习它们。

我使用反向传播创建了一个网络 - 输入层（2个节点），1个隐藏层（2个节点+1个偏置），输出层（1个节点），它利用sigmoid作为所有层的激活函数。我试图首先使用^ 2 + b2 ^ 2 = c ^ 2测试它，这意味着我的输入将是a和b，目标输出将是c。

我的问题是我的输入和目标输出值是实数，范围可以是（ - / infty，+ / infty）。因此，当我将这些值传递给我的网络时，我的错误函数就像（目标网络输出）。这是正确的还是准确的？从某种意义上说，我得到了网络输出（范围从0到1）和目标输出（这是一个很大的数字）之间的差异。

我已经读过解决方案首先要规范化，但我不确定如何做到这一点。我应该在将输入值和目标输出值馈送到网络之前对其进行标准化吗？什么规范化函数最好使用因为我在规范化中读取了不同的方法。在获得优化的权重并使用它们来测试一些数据之后，由于sigmoid函数，我得到的输出值介于0和1之间。我应该将计算值还原为非标准化/原始形式/值吗？或者我应该只规范目标输出而不是输入值？这真的让我陷入困境数周，因为我没有得到理想的结果，也不确定如何在我的训练算法和测试中加入规范化的想法。

非常感谢!!

Answer 1

所以回答你的问题：

1. Sigmoid函数将其输入压缩到间隔（0,1）。它通常在分类任务中很有用，因为您可以将其输出解释为某个类的概率。您的网络执行回归任务（您需要近似实值函数） - 因此最好将线性函数设置为上次隐藏图层的激活（在您的情况下也是第一个:)）。
2. 我建议你不要在隐藏层中使用sigmoid函数作为激活函数。使用tanh或relu nolinearities会好得多。可能会找到详细的解释（以及一些有用的提示，如果你想让sigmoid作为你的激活）here。
3. 了解网络架构不适合您尝试解决的任务也很重要。您可以了解不同网络可能了解的here。
4. 在规范化的情况下：您应该对数据进行规范化的主要原因是不向网络提供任何预先知识。考虑两个变量：age和income。第一个不同于例如5至90.第二种不同于例如income的平均绝对值比age大得多，因此，由于模型中的线性转换，ANN将income视为更重要的 在训练开始时（因为随机初始化）。现在考虑你正在尝试解决一个任务，如果给定的人有白发，你需要分类:) income这个任务真的是更重要的变量吗？
5. 关于如何规范化输入数据，有很多rules of thumb。一种是将所有输入压缩到[0, 1]间隔。另一个是让每个变量都有mean = 0和sd = 1。当给定变量的分布与Normal Distribiution类似时，我通常使用第二种方法，在其他情况下，我通常使用第二种方法。
6. 在对输出进行规范化时，在解决回归任务时（特别是在多元回归情况下）通常也可以将其标准化，但它并不像输入情况那样重要。
7. 您应该记住保留恢复输入和输出原始大小所需的参数。您还应该记住仅在训练集上计算它们并将其应用于训练集，测试集和验证集。