标签： neural-network
我有这种反向传播问题，其中我每层有数千个权重（20k）。我的问题出在我使用激活函数之前，其中某个节点的所有（输入*权重）值的总和达到1k到2k并且仍在增加。我知道我应该期望总和的范围应该在“激活范围”内，以使sigmoid函数可以接受。
有没有办法我可以这样做，总和应该在-35到35之间，而不是1k或2k +？后面的值会影响我的输出层节点，总是给出值“1”（如果是积极的1k或2k）或“0”（如果是负1k或2k）。
我在较小的情况下测试了我的反向传播，它总是起作用但不是大规模的。