机器学习中的激活功能

时间:2018-03-20 18:21:08

标签: python math machine-learning calculus sigmoid

机器学习中的激活功能是什么意思。我查看大多数文章和视频,每个人都说明或与神经网络进行比较。我是机器学习的新手,而不是那么熟悉深度学习和神经网络。那么,任何人都能解释一下激活功能到底是什么吗?而不是用神经网络解释。当我学习逻辑回归的Sigmoid函数时,我对这种模糊性感到震惊。

3 个答案:

答案 0 :(得分:1)

在没有某些引用自动学习的情况下描述激活功能相当困难,因为这完全是他们的应用,以及集体术语背后的基本原理。它们帮助我们将学习重点放在功能转换的流程中。我会尝试降低描述的复杂性。

很简单,activation function是一个过滤器,它将输出信号(一系列值)从当前形式改变为一个我们发现更多"活跃"或对手头的目的有用。

例如,一个非常简单的激活功能将是大学录取的截止分数。我的大学要求在SAT的每个部分得分至少500分。因此,任何申请人都要通过此过滤器:如果他们不符合该要求,那么录取分数"降到零。这"激活"其他候选人。

另一个常见的功能是你研究的sigmoid:想法是将明显优秀的值(将它们贴近1)与明显不合需要的值(将它们映射到接近-1)区分开来,并保留辨别或了解的能力中间的那些(将它们映射到有助于进一步工作的渐变的东西)。

第三种类型可能会强调频谱最高端的差异 - 比如足球目标和助攻。在试图判断球员之间的相对技术水平时,我们必须考虑:一个赛季15到18个球的差异是否与0到3个球的目标相同?有些人认为,数字越大,得分技能的差异越大:得分越多,反对者越注意阻止你。此外,我们可能想要考虑一下"噪音"在指标中:一个赛季的前两个目标并没有真正证明。

在这种情况下,我们可能会为目标g选择激活函数,例如

1.2 ^ max(0, g-2)

然后将此评估添加到其他因素中以获取玩家的指标。

这有助于为您解释事情吗?

答案 1 :(得分:0)

激活函数对于人工神经网络学习和理解真正复杂的东西以及输入和响应变量之间的非线性复杂功能映射非常重要。它们为我们的网络引入了非线性属性。它的主要目的是将A-NN中的节点的输入信号转换为输出信号。该输出信号现在用作堆栈中下一层的输入。

特别是在A-NN中,我们做输入(X)及其相应权重(W)的乘积之和,并对其应用激活函数f(x)以获得该层的输出并将其作为输入提供到下一层。

More info here

答案 2 :(得分:0)

简单地说,激活函数是一种功能,已添加到人工神经网络中,以帮助网络学习数据中的复杂模式。与我们大脑中基于神经元的模型进行比较时,激活功能最终决定了要发射到下一个神经元的物质。这也正是激活函数在ANN中所做的。它吸收前一个单元的输出信号,并将其转换为可以用作下一个单元的输入的某种形式。