Question

我一直试图让Encog过几天。

我的数据包括4个输入变量（介于1和1000之间）和1个输出变量（介于-30和30之间）。我正在训练大约50,000行数据。

数据被标准化（tanh激活函数在-1和1之间），然后将其传递到具有以下结构和训练的神经网络中：

 Network.AddLayer(new BasicLayer(null, true, 4));
 Network.AddLayer(new BasicLayer(new ActivationTANH(), true, 8));
 Network.AddLayer(new BasicLayer(new ActivationTANH(), false, 1));
 Network.Structure.FinalizeStructure();
 Network.Reset();

 IMLDataSet trainingData = new BasicMLDataSet(Input.ToArray(), ExpectedOutput.ToArray());

 IMLTrain train = new ResilientPropagation(Network, trainingData);

 int epoch = 1;

 do
 {
     train.Iteration();
     Console.WriteLine(@"Epoch #" + epoch + @" Error:" + train.Error);
     epoch++;
 } while (train.Error > 0.024);

程序然后输出每行的预期输出以及来自神经网络的实际输出。这是输出的截图（几行）： http://i.imgur.com/UVWCOis.png

如您所见，在打印此输出之前，错误（所有行的神经网络的平均错误）必须低于0.024。但是许多预期和实际产出都有很大的错误。

我认为神经网络对传播不够灵敏。似乎神经网络的实际输出都非常接近，我相信它们并没有远离初始随机权重。

有人可以建议我如何解决这个问题吗？

我尝试过减小输入的大小（我使用了50），我也试过去除偏差，这两者都导致类似的结果。

Answer 1

如果没有看到您的数据，我无法确切地说出差异的来源。我怀疑一些数据元素的错误要比其他元素高得多。如果您使用此方法，它将为您提供有关如何计算错误的详细信息以及每个元素在数据进展过程中的“当前错误”。如果您的数据集很大，这将产生相当多的输出。

    public static void errorDiagnostic(BasicNetwork network, MLDataSet dataSet) {
    int count = 0;
    double totalError = 0;

    System.out.println("Network error: " + network.calculateError(dataSet));


    for(MLDataPair pair : dataSet) {
        MLData actual = network.compute(pair.getInput());
        System.out.println("Evaluating element " + count + " : " + pair.getInput().toString());

        for(int i=0;i<pair.getIdeal().size();i++) {
            double delta = Math.abs(actual.getData(i) - pair.getIdeal().getData(i));
            totalError += delta*delta;
            count++;
            double currentError = totalError/count;
            System.out.println("\tIdeal: " + pair.getIdeal().getData(i) + ", Actual: " + actual.getData(i) + ", Delta: " + delta + ", Current Error: " + currentError);

        }
    }
}

例如，训练有素的XOR（来自Encog hello world app）的输出是：

    Network error: 0.009643582111728128
Evaluating element 0 : [BasicMLData:0.0,0.0]
    Ideal: 0.0, Actual: 0.10384251352940682, Delta: 0.10384251352940682, Current Error: 0.01078326761610504
Evaluating element 1 : [BasicMLData:1.0,0.0]
    Ideal: 1.0, Actual: 0.9109458503325736, Delta: 0.08905414966742642, Current Error: 0.009356954594546711
Evaluating element 2 : [BasicMLData:0.0,1.0]
    Ideal: 1.0, Actual: 0.8914073581830911, Delta: 0.10859264181690886, Current Error: 0.01016875701528963
Evaluating element 3 : [BasicMLData:1.0,1.0]
    Ideal: 0.0, Actual: 0.08982236581744897, Delta: 0.08982236581744897, Current Error: 0.009643582111728128

这可以让您了解每个元素对错误的贡献程度。

C＃Encog神经网络 - 尽管神经网络的整体误差很小，但预期输出与实际误差相差甚远

1 个答案: