标准化tanh激活函数神经网络的负数/非数值数据的最佳方法是什么

时间:2016-04-12 17:39:21

标签: c++ machine-learning neural-network artificial-intelligence backpropagation

我使用前馈,梯度下降,反向传播神经网络 其中隐藏/输出神经元使用tanh激活函数,输入神经元是线性的。

在您看来,在以下情况下对数字数据进行标准化的最佳方法是什么:

  1. 最大数量已知,例如最大正数为1000,最大负数为-1000。

  2. 最大数量未知。

  3. 如果我应该保持所有输入的最大数字相同,或者它可以 如果网络的输入有不同的规范化方式?

    谢谢!

1 个答案:

答案 0 :(得分:0)

如果知道maxmin,最简单的规范化是:

normalized = (val - min) / (max - min)

如果max未知,您可以根据所拥有的数据进行规范化,并且知道tanh具有超过1的值的良好特征。