我有一个神经网络，有2个入口变量，1个隐藏层有2个神经元，输出层有1个输出神经元。当我从一些随机（从0到1）生成的权重开始时，网络非常快速地学习XOR函数，但在其他情况下，网络永远不会学习XOR函数！你知道为什么会这样吗？我怎么能克服这个问题？是否会涉及一些混乱的行为？谢谢！
答案 0 :(得分：0)
这是很正常的情况，因为多层NN的误差函数不是凸的，并且优化收敛到局部最小值。
您可以保留导致成功优化的初始权重，或者从不同权重开始多次运行优化程序，并保留最佳解决方案。优化算法和学习速率也起着一定的作用，例如动量反向传播和/或随机梯度下降有时效果更好。此外，如果您添加更多神经元，超出了学习XOR所需的最低限度，这也会有所帮助。
存在旨在找到全局最小值的方法，例如模拟退火，但实际上它们并不常用于NN优化，除了某些特定情况