随着偏见，ANN不再收敛

Question

我正在学习ANN，我做了两个脚本（在fortran90和python中）用于简单的二进制分类问题。

我首先没有偏见，我得到了很好的收敛。但是为每个节点添加一个偏差它不会再收敛（或者一切都接近0或接近1的所有部分）

偏差为1，每个节点具有特定的权重。它是随机初始化的，然后更新添加delta，例如其他权重。我试图改变渐变步长，但它仍然做同样的事情。

有人有任何线索吗？....

编辑：

网络：

    IN                HIDDEN             OUTPUT node
(each column is a     LAYERS          (each column is
training data)   (2layers of 3node)   the wanted result)


          W1      .___W2__.    W3
|0|0|1|1|-------->|___|___|______
|0|1|0|1|--\/_-\->|___|___|______\_--> |1|1|0|0|
|1|0|1|1|--/\__/->|___|___|______/

激活函数是一个sigmoid（1 /（1 + exp（-x）））

权重初始化为[-1,1]

范围内的正态分布

Answer 1

你可能有问题：

https://datascience.stackexchange.com/questions/15602/training-my-neural-network-to-overfit-my-training-dataset

你也应该小心你的学习步骤，如果它太大你就无法收敛。