反向传播重量调整功能不起作用

时间:2019-05-01 00:38:36

标签: c++ machine-learning neural-network backpropagation

我正在使用S型激活函数创建神经网络,但我的体重调节功能无法正常工作。权重从-1随机初始化为1,随着网络的训练,权重值超出范围。

权重存储在邻接矩阵中,每个权重通过循环进行调整,我的教授给了我这个公式来计算权重的变化(deltaW)。当将deltaW添加到当前权重时,我尝试将其设置为负,因为我的教授建议尝试这样做,但是没有这种运气。我已经测试了所有其他功能,并且它们工作正常,因此我的问题必须出在这里。

void adjustWeights(struct neuralNetwork* network_ptr, struct dataSet data){
    float stepsize = 0.1,
        summation = 0,
        deltaW = 0;

    for(int i=0; i<2; i++){//adjust weights between intermediate and output
        for(int j=0; j<3; j++){
           deltaW =stepsize*(network_ptr->outputNodes[i] - data.target[i]) * network_ptr->outputNodes[i]* (1 -network_ptr->outputNodes[i]) * network_ptr->intermediateNodes[j];
            //cout << "weight: " << network_ptr->intermediateToOutput[j][i] << "  deltaW:  " << deltaW;
            network_ptr->intermediateToOutput[j][i] += deltaW;
            //cout << "  new weight: " << network_ptr->intermediateToOutput[j][i] << endl;
        }
    }

    for(int i=0;i<3; i++){ //adjust weights between input and intermediate
        for(int j=0;j<3; j++){
            for(int k=0; k<2; k++)//this does the summation portion of the weight adjusment.
                summation =(network_ptr->outputNodes[k] - data.target[k]) * network_ptr->outputNodes[k]* (1 -network_ptr->outputNodes[k]) * network_ptr->intermediateNodes[j]*network_ptr->intermediateToOutput[j][k]
                            * network_ptr->intermediateNodes[j]* (1- network_ptr->intermediateNodes[j]) * network_ptr->inputNodes[i];
                network_ptr->inputToIntermediate[i][j] += stepsize*summation;
        }
    }
}

随着权重的调整,它们由于某种原因而不断增长。一次我运行它,权重上升到7.8。 我把整个项目寄给了教授,他说一切似乎都是正确的。所以我完全傻眼了。

任何建议都将不胜感激!

1 个答案:

答案 0 :(得分:0)

第10行:

try:

应改为network_ptr->intermediateToOutput[j][i] += deltaW;