如何在Keras中创建稀疏层(即,并非所有神经元都相互连接)?

时间:2018-12-22 05:10:04

标签: python python-3.x tensorflow keras

在Keras中,如果神经网络中有两个密集层,则第一层的所有神经元都连接到第二层的所有神经元。我可以根据某些重量标准从密集层中删除一些连接,从而使结果成为一个稀疏层,其中第一层中的所有神经元都未连接到第二层中的所有神经元吗?

我试图将低于阈值的权重降低到零。但这并没有达到从网络中删除/删除权重连接的目的,因为在我重新训练网络后,由于梯度下降,被迫设为零的权重重新获得了一些值。

1 个答案:

答案 0 :(得分:1)

您是否尝试添加辍学?执行更新时,这会将层中权重的子集随机重置为0,听起来像您想要的。这是许多防止过度拟合的方法之一。

https://keras.io/layers/core/#dropout