标签: machine-learning artificial-intelligence neural-network
假设您有一个神经网络,其中5个输入神经元完全连接到2个输出神经元。输入序列的构造方式使得有两种不同的输入模式经常出现(一种比另一种更频繁),而在其他情况下完全是随机的。
当应用Hebbian学习以无人监督的方式训练这个网络时(权重归一化以防止它们无限增加),两个输出神经元是否具有完全相同的响应?当看到最常出现的模式时,它们是否都不会激活?
为了防止这种情况,需要对基本的Hebbian学习算法进行哪些修改?在理想情况下,一个输出神经元将学会以最频繁出现的模式激活,而另一个仅在另一个模式激活。