在Tensorflow中缩放梯度op

Question

是否有选择：

1. 在图表中执行时，按原样输出其输入张量。
2. 构建ops以计算渐变时，按给定常量
缩放传入渐变

类似于 tf.stop_gradient 的内容，但不是将渐变设置为零，而是按指定的常量缩放。

如果没有这样的操作，那么实现这种行为的最简单方法是什么？

Answer 1

我能想到的最简单的方法是在应用之前预先处理渐变。您可以在文档here中查看如何执行此操作。

或者你可以做一个（脏）技巧，如：

res = ...
res = (1 - alpha) * tf.stop_gradients(res) + alpha * res