神经网络输出始终为1

时间:2012-11-21 07:57:51

标签: c++ neural-network artificial-intelligence

我正在开发一个神经网络应用程序,但是当我尝试打印前馈的输出时我遇到了问题:控制台显示了这个值:

输出始终为1 1 1 1 1

我使用3层,包括2500个输入节点,1800个隐藏节点和5个输出节点。 我使用sigmoid二进制作为激活函数,测试的权重固定为0.5。

当我尝试使用一个非常简单的架构(2个输入,3个隐藏,1个输出)时,它工作得很好,但是现在有这么多节点我无法手动计算输出,所以我不知道是否结果是真是假。

我的代码是错的,还是不能给我一个固定的重量?我只想做一个前馈,而不是反向传播,输入从0到1是随机的。

这是network.cpp:

#include <stdio.h>
#include <iostream>
#include "network.h"
#include "neuron.h"

using namespace std;

layer::layer(int numberOfNeuron,int numberOfInput,int numberOfOutput):
neuron_layer(numberOfNeuron)
{
    for(int i=0;i<numberOfNeuron;i++)
    {
        neuron_layer[i] = new neuron(numberOfInput,numberOfOutput);
    }
}
layer::~layer()
{

}

int layer::get_number_of_neuron()
{
    return neuron_layer.size();
}

network::network(int layerNumber,int hiddenNeuronNumber):
    layer_network(layerNumber)
{
    this->layer_numbers = layerNumber;
    for(int i=0;i<layerNumber;i++)
    {
        if(i==0)
        {
            layer_network[i] = new layer(2500,5,hiddenNeuronNumber);
        }
        else if(i==1)
        {
            layer_network[i] = new layer(hiddenNeuronNumber,2500,5);
        }
        else if(i==2)
        {
            layer_network[i] = new layer(5,hiddenNeuronNumber,1);
        }
    }
    cout<<endl<<"Input layer : "<<layer_network[0]->get_number_of_neuron()<<endl;
    cout<<"Hidden layer : "<<layer_network[1]->get_number_of_neuron()<<endl;
    cout<<"Output layer : "<<layer_network[2]->get_number_of_neuron()<<endl;
}

network::~network()
{
}

void network::init_input_layer(int inputNeuronNumber,int hiddenNeuronNumber)
{
    for(int i=0;i<inputNeuronNumber;i++)
    {
        for(int j=0;j<hiddenNeuronNumber;j++)
        {
            layer_network[0]->neuron_layer[i]->outputs[j]->weights = 0.5f;
        }
    }
}

void network::init_hidden_layer(int inputNeuronNumber,int hiddenNeuronNumber,int outputNeuronNumber)
{
    for(int i=0;i<hiddenNeuronNumber;i++)
    {
        for(int j=0;j<inputNeuronNumber;j++)
        {
            layer_network[1]->neuron_layer[i]->inputs[j]->weights = layer_network[0]->neuron_layer[j]->outputs[i]->weights;
        }
    }
    for(int k=0;k<hiddenNeuronNumber;k++)
    {
        for(int l=0;l<outputNeuronNumber;l++)
        {
            layer_network[1]->neuron_layer[k]->outputs[l]->weights = 0.5f;
        }
    }
}

void network::init_ouput_layer(int hiddenNeuronNumber,int outputNeuronNumber)
{
    for(int i=0;i<outputNeuronNumber;i++)
    {
        for(int j=0;j<hiddenNeuronNumber;j++)
        {
            layer_network[2]->neuron_layer[i]->inputs[j]->weights = layer_network[1]->neuron_layer[j]->inputs[i]->weights;
        }
    }
}

这是neuron.cpp:

#include "neuron.h"
#include <stdio.h>
#include <iostream>

using namespace std;

synapse::synapse()
{

}
synapse::~synapse()
{
}

neuron::neuron(int numberOfInput,int numberOfOutput):
inputs(numberOfInput),outputs(numberOfOutput)
{
    for(int i=0;i<numberOfInput;i++)
    {
        inputs[i] = new synapse();
    }
    for(int i=0;i<numberOfOutput;i++)
    {
        outputs[i] = new synapse();
    }
}
neuron::~neuron()
{
}

int neuron::get_input_size()
{
    int input_length;
    input_length=(int) inputs.size();
    return input_length;
}

int neuron::get_output_size()
{
    int output_length;
    output_length=(int) outputs.size();
    return output_length;
}


void neuron::input_fire()
{
    output_value = inputs[0]->activation_values;
    for(int i=0;i<get_output_size();i++)
    {
        outputs[i]->activation_values = output_value;
    }
}

void neuron::fire()
{
    output_value = 0.0f;
    for(int i=0;i<get_input_size();i++)
    {
        output_value+=(inputs[i]->activation_values)*(inputs[i]->weights);
    }
    //cout<<endl<<"Before Sigmoid"<<output_value;
    output_value = 1.0f / (1.0f+ exp(-output_value));
    //cout<<" After Sigmoid"<<output_value;
    for(int i=0;i<get_output_size();i++)
    {
        outputs[i]->activation_values = output_value;
    }

}

我认为我不需要发布neuron.h和network.h,因为它们都只包含声明。我在.cpp中定义了函数。这就是我创建对象的方式:

srand (time(NULL));
float inputTest[2500];
network test(3,1800);
test.init_network(1800);
for(int i=0;i<2500;i++)
{
    inputTest[i]=(float)rand()/(float)RAND_MAX;
}
test.feedforward(inputTest);

1 个答案:

答案 0 :(得分:3)

我没有检查你的代码,但...... 不,你不能像那样使用固定重量。随着您增加输入量,隐藏图层中的每个节点都会获得越来越大的值。 Sigmoid会将大值缩放为1。

想一想: 假设您有100个输入,每个输入的“随机”输入值为0.1。为简单起见,让我们忘记其他一切。由于权重是常数0.5,隐藏层中的所有节点将得到相同的值,该值由每个输入*权重的“sigmoided”和组成,即sigm(0.1 * 0.5 * 100)= sigm(5) - &gt; 〜1

因此,具有恒定正权重的正输入越多,所有隐藏层的输出将越接近1。