Question

我尝试创建一个带有1个隐藏层的神经网络（让我们假设数据向量包含4个值，输入层有3个神经元，隐藏层有3个神经元，输出级别有1个神经元）。我有两个数据向量，有两个已知结果。

我使用第一组数据教授网络，然后我应用第二组。通过使用反向传播方法校正权重。问题是，如果我在权重校正后尝试预测第一组的值，我会得到一个非常接近第二个结果的结果。因此，神经网络“忘记”第一次训练。

我的计划的完整代码在这里https://gist.github.com/edtechd/63aace5d88dee1ab6835

教学期间和之后的权重值在https://gist.github.com/edtechd/7f19f0759bb808a31a3f

这是NN培训功能

    public void Train(double[] data, double expectedResult)
    {
        double result = Predict(data);
        double delta = Perceptron.ActivationFunction(expectedResult) - Perceptron.ActivationFunction(result);
        double eta = 20;

        // Calculate layer 2 deltas
        for (int i = 0; i < size2; i++)
        {
            deltas2[i] = delta * weights3[i];
        }

        // Calculate layer 1 deltas
        for (int i = 0; i < size1; i++)
        {
            deltas1[i] = 0;

            for(int j=0; j < size2; j++) {
                deltas1[i] += deltas2[j] * weights2[j * size1 + i];
            }
        }

        // Correct layer 1 weights
        for (int i = 0; i < data.Length; i++)
        {
            for (int j = 0; j < size1; j++) 
            {
                weights1[j * data.Length + i] += eta * deltas1[j] * values1[j] * (1 - values1[j]) * data[i];
            }
        }

        // Correct layer 2 weights
        for (int i = 0; i < size1; i++)
        {
            for (int j = 0; j < size2; j++)
            {
                weights2[j * size1 + i] += eta * deltas2[j] * values2[j] * (1 - values2[j]) * values1[i];
            }
        }

        double resultA = Perceptron.ActivationFunction(result);
        for (int i = 0; i < size2; i++)
        {
            weights3[i] += eta * delta * resultA * (1 - resultA) * values2[i];
        }

    }

我错过了什么吗？

Answer 1

我已经找到了问题。

在教学步骤中，我反复向网络展示第一个示例，直到结果接近预期，然后我展示了第二个例子。

  A A A A A B B B B B B

如果依次重复显示这两个例子，神经网络会正确地收敛并识别例子。

 A B A B A B A B A B A B

神经网络不学习

1 个答案: