Question

此层是静态的，它是伪函数。在正向传播中，它什么都不做（身份函数）。但是，在反向传播中，它将梯度乘以-1。 github上有很多实现，但是它们不适用于TF 2.0。

这里供参考。

import tensorflow as tf
from tensorflow.python.framework import ops

class FlipGradientBuilder(object):
    def __init__(self):
        self.num_calls = 0

    def __call__(self, x, l=1.0):
        grad_name = "FlipGradient%d" % self.num_calls
        @ops.RegisterGradient(grad_name)
        def _flip_gradients(op, grad):
            return [tf.negative(grad) * l]

        g = tf.get_default_graph()
        with g.gradient_override_map({"Identity": grad_name}):
            y = tf.identity(x)

        self.num_calls += 1
        return y

flip_gradient = FlipGradientBuilder()

Answer 1

可逆梯度的虚拟操作

这可以使用装饰器tf.custom_gradient完成，如in this example所述：

@tf.custom_gradient
def grad_reverse(x):
    y = tf.identity(x)
    def custom_grad(dy):
        return -dy
    return result, custom_grad

然后，您可以像正常的TensorFlow op一样使用它，例如：

z = encoder(x)
r = grad_reverse(z)
y = decoder(r)

Keras API？

TF 2.0的一个极大便利是它对Keras API的本机支持。您可以定义自定义GradReverse op并享受Keras的便利：

class GradReverse(tf.keras.layers.Layer):
    def __init__(self):
        super().__init__()

    def call(self, x):
        return grad_reverse(x)

然后，您可以将该层用作Keras的其他任何层，例如：

model = Sequential()
conv = tf.keras.layers.Conv2D(...)(inp)
cust = CustomLayer()(conv)
flat = tf.keras.layers.Flatten()(cust)
fc = tf.keras.layers.Dense(num_classes)(flat)

model = tf.keras.models.Model(inputs=[inp], outputs=[fc])
model.compile(loss=..., optimizer=...)
model.fit(...)

如何在TF 2.0中实现渐变反转层？

1 个答案:

可逆梯度的虚拟操作

Keras API？