归一化权重以产生中频功能信号

时间:2014-04-21 09:46:00

标签: neural-network normalization

我正在制作一个多层感知器,我需要选择权重进行输入 - >隐藏单位。我们的讲座说:

  

目标是选择产生中频函数信号的权重值

     

从均匀概率分布中随机选择权重值

     

标准化权重值,以便每单位加权连接数     产生中频函数信号

我不确定中频功能信号是什么意思。因此,如果单位1的权重是[0.5 0.9 0.1],我是否只取总和并将每个权重除以总和?它也适用于每个输入单元或输出单元?

非常感谢。

1 个答案:

答案 0 :(得分:1)

重量初始化

中档值
应该在这样的间隔内初始化权重,使得学习算法应该容易地观察操纵一组权重的概率。通过从小间隔中选择权重,学习算法仅需要通过小的增量来改变权重以观察输出信号的变化。

统一分配
最好通过从范围[-0.1,0.1]中选择随机变量来初始化权重。通过统计直觉,我们可以推断从0左右的“对称”区间均匀地选择权重将确实意味着平均信号将接近平均值。例如:

weights = [-0.05, -0.05, 0, 0.1]
signal = 0.7
average(weights * signal)  = 0.7