MLP:减少#Hiddens失败过度训练

时间:2015-07-09 17:01:26

标签: machine-learning neural-network backpropagation

我与一位同事进行了史诗般的辩论,他声称减少隐藏数量是处理过度培训的最佳方式。

虽然可以证明泛化误差随着这种网络的训练而降低,但最终它不会达到更多隐藏和早期停止可以达到的水平。

我认为我们的项目有许多类型的“条件反射”,其中非平稳性只是其中之一。我认为需要大量的隐藏处理这些可以比作输入类别的问题。

虽然这对我来说似乎很直观,但我无法做出令人信服的论证。

1 个答案:

答案 0 :(得分:0)

最基本的论据之一是,该方法应具有强大的理论依据和有用的含义。特别是,虽然可以使用隐藏单元的数量来减少过度拟合,但其主要缺点是:

  • 艰难的理论分析 - 你无法确定添加两个神经元有什么区别,而你可以确切地说当你改变正则化强度
  • 时会发生什么变化
  • 有限的可能状态集 - 您只能拥有隐藏单位的整数值,从而导致您正在考虑的有限族模型;使用正则化(即使是简单的L2 reg),由于使用了真正的正则化参数,可以为您提供连续性的可能模型