通过张量流中的范数来削减权重？

Question

我想在我的DNN中约束权重矩阵的l2范数。这就是我的方法

AdvancedCollectionView

但是在运行代码时，出现以下错误：

  

NotImplementedError：（'正在尝试优化不受支持的类型'，'train_3 / clip_by_norm：0'shape =（200，256）dtype = float32>）

Answer 1

capped_gvs的类型必须为：

[(<tf.Tensor 'gradients_1/Fill:0' shape=(9,) dtype=float32>,
  <tf.Variable 'Variable:0' shape=(9,) dtype=float32_ref>)]

代替：

[(<tf.Tensor 'gradients_1/Fill:0' shape=(9,) dtype=float32>,
  <tf.Tensor 'clip_by_norm:0' shape=(9,) dtype=float32>)]

尝试以这种方式更改capped_gvs行：

capped_gvs = [(tf.clip_by_norm(var,1, axes = None),var) for grad, var in gvs]