Question

我正在尝试在TensorFlow中实现两个张量之间的加权平均值，在那里可以自动学习权重。遵循有关如何为keras模型here设计自定义层的建议，我的尝试如下：

class WeightedAverage(tf.keras.layers.Layer):
    def __init__(self):
        super(WeightedAverage, self).__init__()

        init_value = tf.keras.initializers.Constant(value=0.5)

        self.w = self.add_weight(name="weight",
                                 initializer=init_value,
                                 trainable=True)

    def call(self, inputs):
        return tf.keras.layers.average([inputs[0] * self.w,
                                        inputs[1] * (1 - self.w)])

现在的问题是，训练完模型，保存并再次加载后，w的值仍为0.5。参数是否可能没有收到任何渐变更新？在打印模型的可训练变量时，该参数会列出，因此在调用model.fit时应包括在内。

Answer 1

这里可以在两个张量之间实现加权平均值，可以自动学习权重。我还介绍了权重必须合计为1的约束。要实现这一点，我们必须简单地对权重应用softmax。在下面的虚拟示例中，我将此方法与两个完全连接的分支的输出结合在一起，但是您可以在所有其他情况下进行管理

此处是自定义图层：

class WeightedAverage(Layer):

    def __init__(self, n_output):
        super(WeightedAverage, self).__init__()
        self.W = tf.Variable(initial_value=tf.random.uniform(shape=[1,1,n_output], minval=0, maxval=1),
            trainable=True) # (1,1,n_inputs)

    def call(self, inputs):

        # inputs is a list of tensor of shape [(n_batch, n_feat), ..., (n_batch, n_feat)]
        # expand last dim of each input passed [(n_batch, n_feat, 1), ..., (n_batch, n_feat, 1)]
        inputs = [tf.expand_dims(i, -1) for i in inputs]
        inputs = Concatenate(axis=-1)(inputs) # (n_batch, n_feat, n_inputs)
        weights = tf.nn.softmax(self.W, axis=-1) # (1,1,n_inputs)
        # weights sum up to one on last dim

        return tf.reduce_sum(weights*inputs, axis=-1) # (n_batch, n_feat)

这里是回归问题的完整示例：

inp1 = Input((100,))
inp2 = Input((100,))
x1 = Dense(32, activation='relu')(inp1)
x2 = Dense(32, activation='relu')(inp2)
x = [x1,x2]
W_Avg = WeightedAverage(n_output=len(x))(x)
out = Dense(1)(W_Avg)

m = Model([inp1,inp2], out)
m.compile('adam','mse')

n_sample = 1000
X1 = np.random.uniform(0,1, (n_sample,100))
X2 = np.random.uniform(0,1, (n_sample,100))
y = np.random.uniform(0,1, (n_sample,1))

m.fit([X1,X2], y, epochs=10)

最后，您还可以通过以下方式可视化权重的值：

tf.nn.softmax(m.get_weights()[-3]).numpy()

加权平均值：TensorFlow 2.2.0中的自定义图层权重不变

1 个答案: