Question

我想问下列问题：我正在尝试用反向传播训练一个人工神经网络。我有一个前馈神经网络，其中6个输入层7隐藏，1个输出。我将给这个神经网络一个由6个特征组成的特征向量并训练它，我的学习率是0.7，我的动量是0.9。我想根据我的2个类中的6个功能进行分类。问题是这个网络的整体错误没有改变......我已经尝试了不同的学习率和动力值，但问题仍然是相同的...我不明白为什么它这样做。我尝试学习一个ann学习做xor问题时尝试了相同的代码（我的意思是主要类），并且它完美地工作。有谁知道为什么会这样？谢谢您的时间:)）

FeedforwardNetwork network = new FeedforwardNetwork();
Train train;

 network.AddLayer(new FeedforwardLayer(6));
        network.AddLayer(new FeedforwardLayer(7));
        network.AddLayer(new FeedforwardLayer(1));

        train = new Backpropagation(network, Input_vector, Ideal_vector, 0.7, 0.8);

        int epoch = 1;
        textBox7.Text = " It has begun\r\n";
        do
        {
            train.Iteration();
            textBox7.Text += "\r\n Epoch " + epoch + " Error " + train.Error + " \r\n ";

            epoch++;
        }
        while ((epoch < 500) && (train.Error > 0.001));

        network = train.Network;

        textBox7.Text += "Neural Network Results";

        for (int i = 0; i < Ideal_vector.Length; i++)
        {
            double[] actual = network.ComputeOutputs(Input_vector[i]);

            textBox7.Text += "\r\n" + Input_vector[i][0] + "," + Input_vector[i][1] +     "," +
                Input_vector[i][2] + "," + Input_vector[i][3] + Input_vector[i][4] +
                Input_vector[i][5] + " actual= " +
                actual[0] + ", ideal " + Ideal_vector[i][0] + " \r\n";
        }

Answer 1

您使用批量学习还是在线学习？如果答案是批量的，那么你的学习率可能太高了。您可以尝试按比例缩放训练模式的数量。正如@Marcom所说，如果你的神经元太少，你的网络容量太低，这有点粗略解释，但基本上你没有使用神经元的非线性区域，你的网络有偏见。

检查here以获得更好的解释。

首先尝试使用大量神经元，然后只要错误持续下降，就可以减少数量。

Answer 2

尝试尝试添加其他隐藏图层，并尝试增加隐藏节点的数量。我不能给你一个技术性的解释，但如果你的节点太少，那么ann可能无法收敛。

Answer 3

你的主要功能很好。但是，您的训练向量或反向传播代码都不是（假设您的网络足够大，可以学习它）。所以这将是一堆问题而不是答案，但你可能会得到正确的想法：

您的训练载体包含多少个样本？
这些样本大致分为一半/一半还是存在偏差？
是否存在模糊分类的相同训练样本？
如何计算错误？ Abs / Sqr平均值？
您是否随机化了初始网络权重？
培训前的初始错误是什么？

第一次迭代时错误是否发生变化？

你可以在pastebin上发布代码吗？

Answer 4

在MLP开始时没有发展的损失函数通常是因为网络无法推断出适合您的训练数据的任何规则（您的反向训练的等级无法找到任何有意义的局部最小值）。这可能是由于您尝试解决的问题缺少数据或受限制的架构造成的。

增加图层数量和/或它们的大小应该改变它。如果您的架构太复杂，您将容易过度拟合。您必须找到适合您问题的平衡点。

并且一开始就以低学习率开始，设置得太高会导致渐变“反弹”而不会收敛。

人工神经网络训练有6个特征

4 个答案: