我对使用软正则化项的简单优化问题感到困惑。假设我有一个目标函数：
E=f(x)+wg(x)
其中f（x）是相似项，g（x）是正则化项，w是正则化项的权重。
有些方法可以自适应地改变w。例如，如果目标函数随着迭代而不断减少，我认为我的模型在正确的方向上更新，我们减少了w。或者反之，如果目标函数增加，我增加w。
我的问题是w的变化会影响目标函数的值。现在，如果我要使用客观价值的变化作为自适应地改变w的标准，那么这将是不可信的。应用这种“正则化术语的自适应权重”的正确方法是什么？
谢谢。