我试图访问此网络的经过训练的重量值:
X = [[1] , [2], [3], [4], [5], [6], [7], [8]]
Y = [[1] , [2] ,[3] ,[4] ,[5] ,[6] ,[7] ,[8]]
from keras.callbacks import History
history = History()
from keras import optimizers
inputDim = len(X[0])
print('input dim' , inputDim)
model = Sequential()
model.add(Dense(1, activation='sigmoid', input_dim=inputDim))
model.add(Dropout(0.2))
model.add(Dense(1, activation='sigmoid'))
model.add(Dropout(0.2))
sgd = optimizers.SGD(lr=0.009, decay=1e-10, momentum=0.9, nesterov=True)
model.compile(loss='binary_crossentropy', optimizer=sgd , metrics=['accuracy'])
model.fit(X,Y , validation_split=0.1 , verbose=2 , callbacks=[history] , epochs=5,batch_size=32)
可以访问第一层中的权重:
weights = model.get_layer(index=1).get_weights()
weights
[array([[-0.93537247]], dtype=float32), array([ 0.00989669], dtype=float32)]
但不在2< nd层:
weights = model.get_layer(index=2).get_weights()
weights
[]
似乎添加了dropout会导致删除dropout:
model.add(Dense(1, activation='sigmoid', input_dim=inputDim))
model.add(Dense(1, activation='sigmoid'))
成功访问权重的结果
weights = model.get_layer(index=1).get_weights()
weights
[array([[-0.62137389]], dtype=float32), array([-0.05591233], dtype=float32)]
weights = model.get_layer(index=2).get_weights()
weights
[array([[-1.09568715]], dtype=float32), array([ 0.53271592], dtype=float32)]
了解辍学:https://keras.io/layers/core/:
" Dropout包括在训练期间每次更新时随机将输入单位的分数率设置为0,这有助于防止过度拟合。"
辍学可视化: src:http://www.jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf
因此,神经元的子集被丢弃。但是在我的例子中,由于第2层中的权重参数是一个空数组,所以看起来所有神经元都被丢弃了? 为什么在后续层中添加导致重量参数的丢失会变得无法访问?
答案 0 :(得分:2)
辍学没有重量。密集层(和其他一些类型)有。
您的第一个模型有这些图层:
0: input layer - no weights
1: Dense(...) - weights and biases
2: Dropout(...) - no weights
3: Dense(...) - weights and biases
4: Dropout(...) - no weights
权重是属于单个图层的可训练参数。
辍学者只有一个无法训练的常数参数。此参数只删除部分结果。
密集图层使用其权重来更改输入并抛出输出:
#pseudocode
output = Weights x input + biases
Dropout图层将简单地丢弃一些输出:
#pseudocode - suppose the dropout parameter is 0.2
output = input[take 80% of the elements]