Question

我使用Keras做了一些实验，我只是监控了一个简单的mlp模型的重量更新：

# model contains one input layer in the format of dense, 
# one hidden layer and one output layer.
model=mlp() 
weight_origin=model.layers[0].get_weights()[0]
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(.....) # with adam optimizer
weight_updated=model.layers[0].get_weights()[0]
print weight_origin-weight_updated

对于第一个密集层，我得到了一个零矩阵。我认为训练并没有改变这个重量。但是，其他层的权重会发生变化。所以我很困惑，为什么第一层没有变化？我检查了源代码，但仍然没有回答，然后我尝试监控：

model.layers[0].get_weights()[1] # get_weight() returns a list of weights

这一次，权重确实发生了变化。所以我想知道哪个重量是＆＃34;真的＆＃34;在训练期间起作用的重量？为什么重量列表中有两个元素？

mlp()的定义：

def mlp():
    model=Sequential()
    model.add(Dense(500, input_dim=784))
    model.add(Dense(503,init='normal',activation='relu'))
    model.add(Dense(503,init='normal',activation='relu'))
    model.add(Dense(10, activation='softmax'))
    return model

Answer 1

关于layer.get_weights()：

的问题

我对此问题进行了一些测试并检查了源代码。我发现Dense图层是Layer的子类，它的权重是一种python list，它有两个元素权重，存储在layer.get_weights()[0]和 bias 存储在layer.get_weights()[1]。

有一点需要注意，在定义图层时可以禁用bias：model.add(Dense(503,init='normal',activation='relu', bias=False ))。在这种情况下，列表layer.get_weights()只有一个元素。如果在定义后将bias属性设置为False，则bias仍会有一个元素，并且在您拟合模型后会更新。

关于不更新的问题：

我设置了一个只有一个密集层的顺序模型：

def mlp_2(): model=Sequential() model.add(Dense(10, input_dim=784, activation='softmax', bias =False)) return model

然后我用上面相同的方法编译和拟合它。这就是我得到的：

它仍然似乎没有更新重量，但是，我们可以告诉重量肯定会改变。因为准确性在增加。我认为唯一的解释是第一个dense图层（您定义input_dim）的更新对于Keras打印输出来说太小了。我没有检查权重的更精确的值，如果有人可以确定它，那就太好了。

Answer 2

这是一个工作示例。

import numpy as np
from  keras.models import Sequential
from keras.layers import Dense, Dropout, Activation, Flatten

X_train=np.random.rand(1,10)
Y_train=2*X_train
input_dim = X_train.shape[1]
model=Sequential()
model.add(Dense(20, input_dim=10))
model.add(Dense(10, activation='softmax'))
weight_origin_0=model.layers[0].get_weights()[0]
weight_origin_1=model.layers[1].get_weights()[0]
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(X_train, Y_train, batch_size=1, nb_epoch=10, verbose=1)
print(weight_origin_0-model.layers[0].get_weights()[0])  #the first layer
print(weight_origin_1-model.layers[1].get_weights()[0])  #the second layer

Answer 3

有一种方法可以准确查看所有权重和偏差的值随时间变化的方式。您可以使用Keras回调方法，该方法可用于记录每个训练时期的权重值。例如，使用这样的模型

import numpy as np
model = Sequential([Dense(16, input_shape=(train_inp_s.shape[1:])), Dense(12), Dense(6), Dense(1)])

在拟合期间添加回调** kwarg：

gw = GetWeights()
model.fit(X, y, validation_split=0.15, epochs=10, batch_size=100, callbacks=[gw])

其中回调是由

定义的

class GetWeights(Callback):
    # Keras callback which collects values of weights and biases at each epoch
    def __init__(self):
        super(GetWeights, self).__init__()
        self.weight_dict = {}

    def on_epoch_end(self, epoch, logs=None):
        # this function runs at the end of each epoch

        # loop over each layer and get weights and biases
        for layer_i in range(len(self.model.layers)):
            w = self.model.layers[layer_i].get_weights()[0]
            b = self.model.layers[layer_i].get_weights()[1]
            print('Layer %s has weights of shape %s and biases of shape %s' %(
                layer_i, np.shape(w), np.shape(b)))

            # save all weights and biases inside a dictionary
            if epoch == 0:
                # create array to hold weights and biases
                self.weight_dict['w_'+str(layer_i+1)] = w
                self.weight_dict['b_'+str(layer_i+1)] = b
            else:
                # append new weights to previously-created weights array
                self.weight_dict['w_'+str(layer_i+1)] = np.dstack(
                    (self.weight_dict['w_'+str(layer_i+1)], w))
                # append new weights to previously-created weights array
                self.weight_dict['b_'+str(layer_i+1)] = np.dstack(
                    (self.weight_dict['b_'+str(layer_i+1)], b))

此回调将构建一个包含所有图层权重和偏差的字典，并用图层编号标记，因此您可以查看它们在训练模型时随时间的变化。您会注意到，每个权重和偏差数组的形状取决于模型层的形状。为模型中的每一层保存一个权重数组和一个偏差数组。第三轴（深度）显示了它们随时间的变化。

在这里，我们使用了10个时期以及一个模型，该模型具有16、12、6和1个神经元层：

for key in gw.weight_dict:
    print(str(key) + ' shape: %s' %str(np.shape(gw.weight_dict[key])))

w_1 shape: (5, 16, 10)
b_1 shape: (1, 16, 10)
w_2 shape: (16, 12, 10)
b_2 shape: (1, 12, 10)
w_3 shape: (12, 6, 10)
b_3 shape: (1, 6, 10)
w_4 shape: (6, 1, 10)
b_4 shape: (1, 1, 10)

`layer.get_weights（）`返回什么？

3 个答案: