反向传播算法无法正常工作

时间:2017-01-24 19:20:16

标签: python neural-network backpropagation

我是神经网络的新手。我正在尝试编写简单的4-0-2 MLP并在实践中学习反向传播算法。但是我的反向传播总是发散,输出总是[1,1]。我搜索了可能的原因,但既没有将学习率设置为非常小的数字(0.001)也没有改变delta权重的符号可以解决问题。

反向传播算法代码:

def backward(self,trainingSamples):
    for i in range(len(trainingSamples)):
        curr_sample=trainingSamples[i]
        self.input=curr_sample[0]
        self.forward()
        print("output is "+str(self.output))
        curr_des_out=curr_sample[1]
        for i in range(len(self.outputs)):
            error=curr_des_out[i]-self.outputs[i].output
            der_act=self.outputs[i].activate(deriv=True)
            local_gradient=der_act*error
            for j in range(len(self.input)):
                self.weights[j][i]-=self.learning_rate*local_gradient*self.input[j]

trainingSamples是数组元组的元组:( ([1,1,1,1],[1,0]), ([0,0,0,0],[0,1]),([1,0,0,0],[0,1]), ([1,0,1,0],[1,0]) )

这是转发密码:

def forward(self):
    for i in range(len(self.outputs)):
        for j in range(len(self.input)):
            self.outputs[i].input+=self.input[j]*self.weights[j][i]
        self.outputs[i].activate()
        self.output[i]=self.outputs[i].output
    return self.output

1 个答案:

答案 0 :(得分:1)

Althoug我看不到代码的完整实现(像.activate()等等。我想我已经知道你是如何实现它们的。如果你已经正确实现了它们,我发现你的代码存在一个问题:将清楚地显示出分歧。

问题 - 或者至少有一个问题 - 似乎是你没有重置神经元的输入(树突):

def forward(self):
    for i in range(len(self.outputs)):
        self.outputs[i].input = 0
        for j in range(len(self.input)):
            self.outputs[i].input+=self.input[j]*self.weights[j][i]
        self.outputs[i].activate()
        self.output[i]=self.outputs[i].output
    return self.output

因为你继续增加输入,我怀疑你最终会得到输出[1,1],因为当它的输入变为无穷大时,sigmoid函数变为1。