Question

我试图用纯粹的Numpy手工编写一个经过训练的有状态RNN Keras模型和张量流后端。

我的模型构建为：

dhclient-script

训练结束后，我保存模型，然后在不同的会话中再次加载。我用来构建纯Numpy模型的代码看起来像这样：

model = Sequential()
num_layers_first_stage = 64
model.add(GRU(num_layers_first_stage, stateful=True, name=input_node_name, batch_input_shape=(1,1,4), return_sequences=True))
model.add(GRU(64, stateful=True, name='gru_layer_1', return_sequences=True))
model.add(GRU(64, stateful=True, name='gru_layer_2', return_sequences=True))


model.add(Dense(2, activation='softmax', name=output_node_name))
model.compile(loss='categorical_crossentropy',
              optimizer='Adam',
              metrics=['accuracy'])

return model

我试图将此与我加载的Keras模型进行比较，如下所示：

def hard_sigmoid(x):
    return  np.clip(x * 0.2 + 0.5, 0.0, 1.0)

class MyKerasGRULayer(object):
    def __init__(self, keras_layer):
        self.num_units = keras_layer.units


        self.W_z = keras_layer.cell.kernel_z.eval(session=K.get_session())
        self.W_r = keras_layer.cell.kernel_r.eval(session=K.get_session())
        self.W_h = keras_layer.cell.kernel_h.eval(session=K.get_session())

        self.U_z = keras_layer.cell.recurrent_kernel_z.eval(session=K.get_session())
        self.U_r = keras_layer.cell.recurrent_kernel_r.eval(session=K.get_session())
        self.U_h = keras_layer.cell.recurrent_kernel_h.eval(session=K.get_session())

        self.b_z = keras_layer.cell.input_bias_z.eval(session=K.get_session())
        self.b_r = keras_layer.cell.input_bias_r.eval(session=K.get_session())
        self.b_h = keras_layer.cell.input_bias_h.eval(session=K.get_session())

        self.input_shape = keras_layer.input_shape

        self.h = np.zeros((1, self.num_units), dtype=np.float32)

    def forward_pass(self, x):
        z = hard_sigmoid(np.dot(x, self.W_z) + np.dot(self.h, self.U_z) + self.b_z)

        r = hard_sigmoid(np.dot(x, self.W_r) + np.dot(self.h, self.U_r) + self.b_r)

        h_ =  np.tanh(np.dot(x, self.W_h) + np.dot(np.multiply(r, self.h), self.U_h) + self.b_h)  

        self.h = np.multiply((1-z), self.h) + np.multiply(z, h_)

        print(self.h)

但结果不同。希望得到指向这里不正确的内容

Answer 1

Keras GRU使用以下代码来计算h：

h = z * h_tm1 + (1 - z) * hh

与您的forward_pass方法不同。

将最后一行更改为：

self.h = np.multiply(z, self.h) + np.multiply(1 - z, h_)

你应该能够得到相同的结果。

基于训练有素的Keras模型在纯Numpy中实现有状态GRU

1 个答案: