Backprop实施问题

时间:2010-11-03 20:04:42

标签: python matlab artificial-intelligence machine-learning neural-network

1 个答案:

答案 0 :(得分:5)

已经有一段时间了,但我确实获得了这些学位,所以我希望其中一些已经停滞不前。

据我所知,你用输入集过度沉重中层神经元。也就是说,您的输入集包含10,000个离散输入值(100像素x 100像素);你试图将这10,000个值编码成10个神经元。这种级别的编码很难(我怀疑这是可能的,但肯定很难);至少,你需要大量的培训(超过500次运行)才能让它合理地重现。即使中间层有100个神经元,你也会看到一个相对密集的压缩级别(100像素到1个神经元)。

关于如何处理这些问题;好吧,这很棘手。你可以大大增加中间神经元的数量,你会得到合理的效果,但当然需要很长时间训练。但是,我认为可能会有不同的解决方案;如果可能,您可以考虑使用极坐标而不是笛卡尔坐标作为输入;快速眼球输入模式表明对称性很高,有效地你会看到一个线性模式,沿着角度坐标有一个重复的可预测变形,它似乎可以很好地编码在少数中间层神经元中。 / p>

这个东西很棘手;寻找模式编码的一般解决方案(正如您的原始解决方案所做的那样)非常复杂,并且通常(即使有大量的中间层神经元)也需要大量的训练过程;另一方面,一些先进的启发式任务分解和一些问题重新定义(即从笛卡尔坐标转换到极坐标)可以为明确定义的问题集提供良好的解决方案。当然,这是永久的磨擦;一般的解决方案很难得到,但稍微更具体的解决方案确实非常好。

有趣的东西,无论如何!