神经网络输出分组0.5？

Question

我尝试编写一个神经网络系统，但即使运行简单的AND / OR / NOR类型问题，输出似乎分组约为0.5（偏差为-1）和0.7（偏差为1）。 它看起来并不完全“错误”...... AND模式中的1,1看起来确实高于其余部分，而OR中的0,0看起来更低，但它们仍然全部分组，因此它有争议。

我想知道a）如果我犯了一些明显的错误，或者b）是否有任何关于调试神经网络的建议......因为你无法总是追溯到答案的确切位置... < / p>

谢谢！

麦克

Answer 1

a）没有更多信息就无法判断。

对于b）我发现的最好方法是为我的网络架构的一个小测试版本预先计算一组向量和权重，并有一些调试代码将网络状态转储到csv文件中，以便我可以在Excel中查看它。

对于单个模式和已知的网络初始状态，您的网络的前向（和后向）传递应该可以手动完全计算，因此最好有候选模式，或者如果您能够承担这样的情况手动，完全枚举您的测试。它实际上并不像听起来那么糟糕。

这样做的另一个好处是，它可以加强您对算法工作原理的理解，并使您从不同的角度再次检查实施。

祝你好运。

P.S。 backprop博客条目here上的无耻插件......

Answer 2

我回答了类似的问题，并发布了一些您可以测试的值：

Artificial neural networks benchmark

使用这些值来测试您的神经网络。您的输出应该非常接近地匹配值，即使您使用的是不同的语言...您应该能够在小数点后匹配至少6位数而没有问题。