Question

再次感谢您花时间阅读这篇文章。

我知道这个问题已被问过很多，而且我已经检查了很多关于这个问题的帖子：但是，我使用反向传播进行成功的XOR学习仍然没有完成。

我尝试过，像建议一样，调整学习率，动力，有/出偏见等，仍然没有成功。

网络由2个输入神经元，2个隐藏神经元，1个输出，所有 Sigmoids组成。对于每个输入，输出神经元似乎总是收敛到0.5左右。

因此，我要求你提供宝贵的技能。我正在使用一个自制的C ++库（所以我可以深入学习基础知识的工作原理）。

以下是我的代码的兴趣行：

从输出神经元中获取误差

void ClOutputSigmoidNeuron::ComputeErrorGradient()
{
    double wanted_output = this->m_dataset->GetNextData();
    double delta = wanted_output - this->m_result_buffer;
    this->m_error_gradient = delta * this->SigmoidDerivative(this->m_result_buffer);
}

从隐藏神经元中获取误差

void ClSigmoidNeuron::ComputeErrorGradient()
{
    double tmpBuffer = 0.00;
    for(std::size_t i=0;i<this->m_output_connections.size();i++)
    {
        ClNeuron* target_neuron = (ClNeuron*)m_output_connections[i]->m_target_neuron;
        tmpBuffer += (target_neuron->m_error_gradient * this->m_output_connections[i]->m_weight);
    }

    //Get the sigmoid derivative
    this->m_error_gradient = tmpBuffer * this->SigmoidDerivative(this->m_result_buffer);
}

一般神经元的权重更新：

void ClNeuron::UpdateWeights()
{ 
    for(std::size_t i=0;i<this->m_input_connections.size();i++)
    {
        double momentum = this->m_input_connections[i]->m_weight_last_delta * this->m_input_connections[i]->m_momentum_value;
        double new_weight_delta = this->m_learning_rate * this->m_error_gradient * this->m_input_connections[i]->m_data + momentum ;
        this->m_input_connections[i]->m_weight += new_weight_delta;
        this->m_input_connections[i]->m_weight_last_delta = new_weight_delta;
        this->m_input_connections[i]->m_number_of_time_updated++;
    }
}

转移功能

double ClNeuron::Sigmoid(double p_value)
{
    return 1.00 / (1.00 + std::exp(p_value*-1.00));
}


double ClNeuron::SigmoidDerivative(double p_value)
{
    double sigmoid = this->Sigmoid(p_value);
    return sigmoid * (1.00 - sigmoid);
}

用于培训的功能

bool ClBackPropagationSupervisedTrainer::Train()
{
    for (std::size_t i = 0; i < this->m_dataset_size; i++)
    {
        this->m_network->Fire();

        if (!this->m_network->ComputeErrorGradients())
        {
            std::cout << "ClBackPropagationSupervisedTrainer:Train - Oups" << std::endl;
            return false;
        }

        this->m_network->UpdateWeights();
    }

    return true;
}

再次，感谢您阅读本文，我知道这个问题已经被提了很多！指出我正确的方向将非常感激。

Answer 1

有趣的是，如果它可以帮助某人，从Sigmoid（）网络转换到TanH（）网络解决了这个问题。

在某种程度上它确实有意义，然而，Sigmoid转移函数似乎对于这种问题是完美的，因为XOR已经在0和0之间归一化。 1 ...

XOR总是在Sigmoidal神经网络C ++中使用反向传播收敛到0.5

1 个答案: