Question

我试图用Matlab上只有一个隐藏层的反向传播实现多层感知器。目标是复制一个函数，我试图在Matlab上实现一个带有反向传播的多层感知器，只有一个隐藏层。目标是复制具有两个输入和一个输出的函数。

我遇到的问题是错误在每个时代开始减少，但它刚刚达到平台并且似乎没有改善，如下所示：

这是单个纪元期间所有错误的图像：

正如您所看到的，有些极端情况无法正确处理

我正在使用：

权重从-1到1
均方误差
可变数量的隐藏神经元
动量
随机输入订单
没有偏见
隐藏图层的tanh激活功能
身份作为输出层的激活功能
输入范围为-3到3
输入的最小 - 最大标准化

我尝试改变隐藏层上的神经元数量，试图将学习率降低到非常小的数量，似乎没有任何帮助。

这是Matlab代码：

clc
clear
%%%%%%%     DEFINITIONS  %%%%%%%%
i=0;
S=0;
X=rand(1000,2)*6-3; %generate inputs between -3,+3
Xval=rand(200,2)*6-3; %validation inputs
Number_Neurons=360;
Wh=rand(Number_Neurons,2)*2-1; %hidden weights
Wo=rand(Number_Neurons,1)*2-1;  %output weights
Learn=.001;% learning factor
momentumWh=0; %momentums
momentumWo=0;
a=.01;%momentum factor
WoN=Wo; %new weight

fxy=@(x,y) (3.*(1-x).^2).*(exp(-x.^2-(y+1).^2))-10.*(x./5-x.^3-y.^5).*(exp(-x.^2-y.^2))-(exp(-(x+1).^2-y.^2))./3;   %function to be replicated

fh=@(x) tanh(x); %hidden layer activation function
dfh= @(x) 1-tanh(x).^2; %derivative

fo=@(x) x; %output layer activation function
dfo= @(x) 1; %derivative

%%GRAPH FUNCTION
%[Xg,Yg]=meshgrid(X(:,1),X(:,2));
% Y=fxy(Xg,Yg);
% surf(Xg,Yg,Y)
%%%%%%%%%
Yr=fxy(X(:,1),X(:,2)); %Y real
Yval=fxy(Xval(:,1),Xval(:,2)); %validation Y
Epoch=1;
Xn=(X+3)/6;%%%min max normalization
Xnval=(Xval+3)/6;
E=ones(1,length(Yr));% error
Eval=ones(1,length(Yval));%validation error
MSE=1;

%%%%%        ITERATION    %%%%%
while 1
    N=1;
    perm=randperm(length(X(:,:))); %%%permutate inputs
    Yrand=Yr(perm);    %permutate outputs
    Xrand=Xn(perm,:);
    while N<=length(Yr) %epoch    

        %%%%%%foward pass %%%%%
        S=Wh*Xrand(N,:)'; %input multiplied by hidden weights  
        Z=fh(S); %activation function of hidden layer
        Yin=Z.*Wo; %output of hidden layer multiplied by output weights
        Yins=sum(Yin); %sum all the inputs
        Yc=fo(Yins);% activation function of output layer, Predicted Y
        E(N)=Yrand(N)-Yc; %error

        %%%%%%%% back propagation %%%%%%%%%%%%%
        do=E(N).*dfo(Yins); %delta of output layer
        DWo=Learn*(do.*Z)+a*momentumWo; %Gradient of output layer
        WoN=Wo+DWo;%New output weight
        momentumWo=DWo; %store momentum
        dh=do.*Wo.*dfh(S); %delta of hidden layer
        DWh1=Learn.*dh.*Xrand(N,1); %Gradient of hidden layer
        DWh2=Learn.*dh.*Xrand(N,2);
        DWh=[DWh1 DWh2]+a*momentumWh;%Gradient of hidden layer        
        Wh=Wh+DWh;  %new hidden layer weights
        momentumWh=DWh; %store momentum
        Wo=WoN; %update output weight
        N=N+1; %next value
    end

    MSET(Epoch)=(sum(E.^2))/length(E);  %Mean Square Error Training
    N=1;    
    %%%%%% validation %%%%%%%
    while N<=length(Yval)
        S=Wh*Xnval(N,:)';    
        Z=fh(S);
        Yin=Z.*Wo;
        Yins=sum(Yin);
        Yc=fo(Yins);
        Eval(N)=Yc-Yval(N);
        N=N+1;    
    end

    MSE(Epoch)=(sum(Eval.^2))/length(Eval);   %Mean Square Error de validacion  
    if MSE(Epoch)<=1 %stop condition
        break
    end
    disp(MSET(Epoch))
    disp(MSE(Epoch))
    Epoch=Epoch+1; %next epoch
end

Answer 1

对于您要解决的特定问题，有许多因素可以发挥作用：

问题的复杂性：神经网络是否容易解决问题（如果使用标准数据集，您是否将结果与其他研究进行了比较？）
输入：输入是否与输出密切相关？是否有更多输入可以添加到NN？它们是否经过正确的预处理？
本地最小值与全局最小值：您确定问题已在本地最小值中停止（NN在学习停止NN达到更佳解决方案时遇到困难的地方）？
输出：输出样本是否以某种方式偏斜？这是一个二元输出问题，两边都有足够的样本吗？
激活功能：问题还有其他适当的激活功能吗？

然后有你想要试用的隐藏层，神经元，学习率，动量，时代等。

根据图表，这是BPNN粗略预期的学习表现，但有时需要试验和错误来优化结果。

我会尝试处理上述选项（特别是数据的预处理），看看这对你的情况是否有帮助。

多层感知器 - 错误平台

1 个答案: