人工神经网络中的规范化

Question

我在理解人工神经网络中的规范化概念时遇到了问题。如果你能解释它是如何工作的。例如，如果我想输入篮球得分58-72或者我想输入单词“cat”（作为自然语言单词）。如果范围是[-1,1]，它是如何工作的。请注意，我对ANN和规范化概念非常新。

Answer 1

执行此操作的一种方法是对输入进行位编码;每位最大长度输入字符串有一个神经元;并将0作为-1，将1作为1.如果您希望将位串作为输出，则将正输出解释为1，将负输出解释为0.

Answer 2

当您有多个变量时，特征规范化尤为必要。它旨在以相同的规模制作不同的功能。通过避免在一个或多个特征比其余特征具有更大的值时所需的许多额外迭代，缩放加速了梯度下降（指的是神经网络中的反向传播）。

需要归一化的另一个原因是关于神经网络中输出层的逻辑函数（或sigmoid函数）。 [-1,1]范围内的输入很好地近似于激活函数的线性特征。如果你没有规范化数据，在你的篮球得分例子中，58或72作为输入将导致sigmoid输出非常接近1，这使得分类问题中的阈值处理非常困难。