我正在研究卷积神经网络。我对CNN中的某些图层感到困惑。
关于ReLu ......我只知道它是无限逻辑函数的总和，但ReLu并没有连接到任何上层。为什么我们需要ReLu，它是如何工作的？
关于辍学...辍学如何运作？我听了G. Hinton的视频讲话。他说，有一种策略可以在训练权重时随机忽略一半节点，并在预测时减半。他说，它的灵感来自随机森林，与计算这些随机训练模型的几何平均值完全相同。
此策略是否与辍学相同？
有人可以帮我解决这个问题吗？
答案 0 :(得分：21)
<强> RELU： 整流器功能是一个激活函数 f（x）= Max（0，x），它可以像任何其他激活函数一样被神经元使用，使用整流器激活函数的节点称为ReLu节点。使用它的主要原因是，与更常规的激活函数（如S形和双曲正切）相比，它的计算效率更高，而不会对泛化精度产生显着影响。使用整流器激活功能代替线性激活功能以向网络添加非线性，否则网络将仅能够计算线性函数。
<强>差： 是的，所描述的技术与辍学相同。随机忽略节点有用的原因是因为它防止了节点之间出现的相互依赖性（即节点不学习依赖于来自另一个节点的输入值的函数），这使得网络可以更多地学习更健壮的关系。实施辍学与从网络委员会获得平均水平的影响大致相同，但是所需时间和存储的成本要低得多。