Question

基于PyBrain's tutorials，我设法将以下代码拼凑在一起：

#!/usr/bin/env python2
# coding: utf-8

from pybrain.structure import FeedForwardNetwork, LinearLayer, SigmoidLayer, FullConnection
from pybrain.datasets import SupervisedDataSet
from pybrain.supervised.trainers import BackpropTrainer

n = FeedForwardNetwork()

inLayer = LinearLayer(2)
hiddenLayer = SigmoidLayer(3)
outLayer = LinearLayer(1)

n.addInputModule(inLayer)
n.addModule(hiddenLayer)
n.addOutputModule(outLayer)

in_to_hidden = FullConnection(inLayer, hiddenLayer)
hidden_to_out = FullConnection(hiddenLayer, outLayer)

n.addConnection(in_to_hidden)
n.addConnection(hidden_to_out)

n.sortModules()

ds = SupervisedDataSet(2, 1)
ds.addSample((0, 0), (0,))
ds.addSample((0, 1), (1,))
ds.addSample((1, 0), (1,))
ds.addSample((1, 1), (0,))

trainer = BackpropTrainer(n, ds)
# trainer.train()
trainer.trainUntilConvergence()

print n.activate([0, 0])[0]
print n.activate([0, 1])[0]
print n.activate([1, 0])[0]
print n.activate([1, 1])[0]

它应该学习XOR功能，但结果似乎很随机：

0.208884929522

0.168926515771

0.459452834043

0.424209192223

或

0.84956138664

0.888512762786

0.564964077401

0.611111147862

Answer 1

您的方法存在四个问题，在阅读Neural Network FAQ后很容易识别：

Why use a bias/threshold?：您应该添加偏向节点。缺乏偏见使得学习非常有限：由网络代表的分离超平面只能通过原点。使用偏置节点，它可以自由移动并更好地拟合数据：
```
bias = BiasUnit()
n.addModule(bias)

bias_to_hidden = FullConnection(bias, hiddenLayer)
n.addConnection(bias_to_hidden)
```
Why not code binary inputs as 0 and 1?：您的所有样本都位于样本空间的单个象限中。移动它们散布在原点周围：
```
ds = SupervisedDataSet(2, 1)
ds.addSample((-1, -1), (0,))
ds.addSample((-1, 1), (1,))
ds.addSample((1, -1), (1,))
ds.addSample((1, 1), (0,))
```
^{（相应地修复脚本末尾的验证码。）}
trainUntilConvergence方法使用验证，并执行类似于early stopping method的操作。这对于如此小的数据集没有意义。请改用trainEpochs。 1000时代对于网络学习这个问题来说已经足够了：
```
trainer.trainEpochs(1000)
```
What learning rate should be used for backprop?：调整学习率参数。这是你每次使用神经网络时都要做的事情。在这种情况下，值0.1或甚至0.2会显着提高学习速度：
```
trainer = BackpropTrainer(n, dataset=ds, learningrate=0.1, verbose=True)
```
^{（注意verbose=True参数。在调整参数时，观察错误的行为至关重要。）}

通过这些修复，我得到了一致的结果，并且给定网络的结果与给定的数据集一致，误差小于1e-23。

如何创建简单的3层神经网络并使用有监督的学习教它？

1 个答案: