Question

我希望在AdamOptimizer上运行loss操作之前添加额外的操作，以帮助模型处理数据中的重复。相关的代码段看起来像这样：

loss = tf.nn.softmax_cross_entropy_with_logits(logits=predLogits, labels=actLabels)
loss = tf.reshape(loss, [batchsize, -1])
repMask = tf.sqrt(tf.cast(tf.abs(tf.subtract(tf.cast(Y, tf.int64), tf.cast(X, tf.int64))), tf.float32))
lossPost = loss - repMask
train_step = tf.train.AdamOptimizer(LR).minimize(lossPost)

因此，换句话说，我希望loss最小化其略微调整的版本AdamOptimizer，而不是最小化lossPost。然后我以通常的方式训练模型：

_ = sess.run([train_step], feed_dict=feed_dict)

我注意到添加最小化lossPost而不是loss的变通方法对模型的准确性没有影响。无论是否有此解决方案，该模型都会生成完全相同的输出。它似乎继续优化原始的，未经修改的loss。为什么会这样？

我最初的方法是在softmax_cross_entropy_with_logits步骤执行此调整，而不是使用weighted_cross_entropy_with_logits，但我有一个额外的复杂功能，因为有一个额外的词汇维度（这是一个字符级风格的模型）。所以我认为这样做之后会更容易，只要在优化步骤之前完成它就应该可行吗？

Answer 1

在您的模型中，似乎X和Y是常量（也就是说，它们仅依赖于数据）。在这种情况下，repMask也是常量，因为它由

定义

repMask = tf.sqrt(tf.cast(tf.abs(tf.subtract(tf.cast(Y, tf.int64), tf.cast(X, tf.int64))), tf.float32))

因此，loss和lossPost会因常数值而不同，这对最小化过程没有影响（就像发现x最小化x^2-1 vs {{1最小化x。x^2-5都是相同的。）

在优化程序步骤之前调整损失

1 个答案: