Question

我正在尝试重用前一层的权重矩阵。作为一个玩具示例，我想做这样的事情：

import numpy as np
from keras.layers import Dense, Input
from keras.layers import merge
from keras import backend as K
from keras.models import Model

inputs = Input(shape=(4,))
inputs2 = Input(shape=(4,))
dense_layer = Dense(10, input_shape=(4,))
dense1 = dense_layer(inputs)

def my_fun(my_inputs):
    w = my_inputs[0]
    x = my_inputs[1]

    return K.dot(w, x)

merge1 = merge([dense_layer.W, inputs2], mode=my_fun)

问题在于dense_layer.W不是keras张量。所以我收到以下错误：

Exception: Output tensors to a Model must be Keras tensors. Found: dot.0

关于如何将dense_layer.W转换为Keras张量的任何想法？

由于

Answer 1

您似乎想要在图层之间共享权重。我认为你可以使用denselayer作为输入和输入的共享层。

merge1=dense_layer(inputs2)

请查看共享图层@ https://keras.io/getting-started/functional-api-guide/#shared-layers

Answer 2

我认为你不能像这样使用合并层。

但是要回答你的问题，你可能需要创建一个绑定权重的自定义图层。请看this example。

否则，访问图层权重的方法是在该图层上使用get_weights（）方法，这将返回包含权重的numpy数组列表。对于Dense图层的情况，它将包含权重和偏差。

Answer 3

解决方案有两种情况，具体取决于您要执行的操作：

您希望在两个操作之间共享W矩阵，即使在训练期间其值发生变化或其他原因，这两个操作的W矩阵也保持不变。那么你应该使用dense.weights[0]这个W矩阵作为密集层的张量。
如果您只是在编写代码时使用W矩阵的值并且此值永远不会改变，那么使用K.constant(dense.get_weights[0])将权重提取为numpy数组和被转换为张量。

Keras - 重用前一层的权重 - 转换为keras张量

3 个答案: