使用本机Optimizer的apply_gradients进行带框约束的Tensorflow投影梯度下降

Question

假设我们的模型参数 w 具有框约束（例如0

Answer 1

在tf.get_variable中有一个约束参数，我想您可以使用tf.clip_by_value作为投影函数，使用它对权重变量进行盒约束。

  

constraint：一种可选的投影函数，将在优化程序更新后应用于变量（例如，用于实现范数约束或图层权重的值约束）。该函数必须将代表变量值的未投影张量作为输入，并返回投影值的张量（必须具有相同的形状）。在进行异步分布式训练时，使用约束并不安全。