Question

我正在试用FANN PHP模块，我能够在这里成功运行示例http://php.net/manual/en/fann.examples-1.php

我对它进行了修改，以便能够处理5个具有任意输出功能的输入。我生成了1000个训练数据并运行神经网络的训练。但是，在测试时，输出对于不同的输入具有重复的结果。

这是训练数据的一个片段。该函数是$x = round($a + $b * $c / $d - $e, 2)。所以35 + 33 * 31 / 25 - 48 = 27.92

1000 5 1
35 33 31 25 48
27.92
74 3 1 26 94
-19.88
7 62 86 48 71
47.08
31 73 68 94 95
-11.19
100 87 44 75 43
108.04
72 25 62 39 57
54.74
...

这是我的培训代码。我使用了FANN_LINEAR，因为其他激活函数的输出为0,1或-1。我读到FANN_LINEAR是无界的。所以这应该适用，对吧？

<?php
$num_input = 5;
$num_output = 1;
$num_layers = 6;
$num_neurons_hidden = 4;
$desired_error = 0.0001;
$max_epochs = 500000;
$epochs_between_reports = 1000;

$ann = fann_create_standard($num_layers, 5, 5, 5, 5, 5, 1);

if ($ann) {
    fann_set_activation_function_hidden($ann, FANN_LINEAR);
    fann_set_activation_function_output($ann, FANN_LINEAR);

    $filename = dirname(__FILE__) . "/xor.data";
    if (fann_train_on_file($ann, $filename, $max_epochs, $epochs_between_reports, $desired_error))
        fann_save($ann, dirname(__FILE__) . "/xor_float.net");

    fann_destroy($ann);
}

这是我的测试代码

<?php
$train_file = (dirname(__FILE__) . "/xor_float.net");
if (!is_file($train_file))
    die("The file xor_float.net has not been created! Please run simple_train.php to generate it");

$ann = fann_create_from_file($train_file);
if (!$ann)
    die("ANN could not be created");

$a = mt_rand(1, 100);
$b = mt_rand(1, 100);
$c = mt_rand(1, 100);
$d = mt_rand(1, 100);
$e = mt_rand(1, 100);

echo "Expecting $a $b $c $d $e => ".round($a + $b * $c / $d - $e, 2)."\n\n";

$input = array($a, $b, $c, $d, $e);
$calc_out = fann_run($ann, $input);
echo "Result: ".print_r($calc_out, true);
fann_destroy($ann);

这是奇怪的地方。我尝试多次运行此代码，但结果是相同的

fann$ php test2.php 
Expecting 94 67 95 40 85 => 168.13

Result: Array
(
    [0] => 89.329223632812
)
fann$ php test2.php 
Expecting 53 43 56 64 64 => 26.63

Result: Array
(
    [0] => 89.329223632812
)
fann$ php test2.php 
Expecting 18 85 57 94 30 => 39.54

Result: Array
(
    [0] => 89.329223632812
)

你能给我一些指示来实现我的目标，即使用FANN逼近任意函数。我是否必须增加训练数据？增加每层的图层或节点？我是否使用其他激活功能。

Answer 1

乍一看，您的网络似乎陷入了一定的重量配置。这意味着权重（通常为initialized to small values around 0）开始更改其值以更好地适应所需的输出。由于这些变化很小，有可能在一些训练时期之后，他们要么“移动不够”以找到一个很好的值组合，要么它们保持在局部最小值。有很多可能的原因（或者只是考虑的事情）：

输入＆amp;与权重的初始值（〜范围[-1,1]）相比，网络和训练算法必须处理的输出值相对较大（〜范围[-20,100]）。这里最简单的解决方案是normalize输入和输入。输出为A）小，B）以0为中心。
激活函数FANN_LINEAR没有上限和下限。这可能是好的，但也可能导致分歧。一种选择是使用具有限制的FANN_SIGMOID_SYMMETRIC，但也使用几乎是线性的过渡区域。它适用于规范化的输入和输出。
有时动量和学习率的值会导致学习不好。要进行一些诊断，您可能希望针对训练时期绘制learning error curve错误。当然，这需要更加费力，因为您需要单独训练每个时期（fann_train_epoch而不是fann_train_on_file）。
最后。我没有大型网络的经验，但我可以想象一个隐藏层可以学到这样的问题。为什么不尝试一下？已经很难确定1个隐藏层的数量，只是在等式中放入越来越多的参数;）

嗯，我希望有帮助:) 和你的网玩得开心！

尽管输入不同，PHP Fann也会给出相同的结果

1 个答案: