目标是选择产生中频函数信号的权重值
从均匀概率分布中随机选择权重值
标准化权重值,以便每单位加权连接数 产生中频函数信号
我不确定中频功能信号是什么意思。因此,如果单位1的权重是[0.5 0.9 0.1],我是否只取总和并将每个权重除以总和?它也适用于每个输入单元或输出单元?
非常感谢。
答案 0 :(得分:1)
中档值
应该在这样的间隔内初始化权重,使得学习算法应该容易地观察操纵一组权重的概率。通过从小间隔中选择权重,学习算法仅需要通过小的增量来改变权重以观察输出信号的变化。
统一分配
最好通过从范围[-0.1,0.1]中选择随机变量来初始化权重。通过统计直觉,我们可以推断从0左右的“对称”区间均匀地选择权重将确实意味着平均信号将接近平均值。例如:
weights = [-0.05, -0.05, 0, 0.1]
signal = 0.7
average(weights * signal) = 0.7