tf.Variable构造函数中的“约束”参数有什么意义

时间:2019-01-04 20:56:05

标签: tensorflow

tf.Variable类的构造函数有一个名为constraint的参数,我不了解其用途。

文档内容如下: “由优化器更新后将应用于变量的可选投影函数(例如,用于实现图层权重的范数约束或值约束)。”

将某些函数应用于优化器更新的变量之后的意义是什么?这可能会破坏优化器更新。为了有意义,约束需要直接影响优化程序更新的计算(通过正则化或硬性优化约束),而不是在变量由优化程序更新后作用于变量。

文档中括号中的规范约束示例对我来说似乎也不太有用。如果要限制变量的范数,则应在优化问题中通过设计来强制执行这些范围,而不要在优化步骤后随意修改更新的变量。

更笼统地说:对变量的约束应通过优化问题的设计来实施,而不是在优化步骤之后通过修改更新的变量来实现。

原因是,如果优化程序考虑了约束条件以计算更新值,则与不考虑约束条件的情况相比,这些更新值可能会完全不同。

任何人都可以提供有关constraint参数何时有用的解释或示例吗?

0 个答案:

没有答案