Question

我希望最小化/最大化F1-score，Precision，Recall和我的自定义指标等指标。有我的指标和优化程序代码：

def my_metric(logits, labels):
    predicted = tf.argmax(logits, 1)
    actual = tf.argmax(labels, 1)

    NS = tf.count_nonzero(actual)
    NR = tf.reduce_sum(tf.cast(tf.equal(actual, 0), tf.float32))
    TP = tf.reduce_sum(tf.cast(tf.equal(actual+predicted, 0), tf.float32))
    FP = tf.reduce_sum(tf.cast(tf.equal(actual*(1-predicted), 1), tf.float32))
    TN = tf.reduce_sum(tf.cast(tf.equal(actual+predicted, 2), tf.float32))
    FN = tf.reduce_sum(tf.cast(tf.equal(actual+(1-predicted), 0), tf.float32))
    '''
    Precision = TP / TP + FP
    Recall = TP / TP + FN
    b = 0.5
    denom = (1.0 + b**2) * TP + FN*b**2 + FP
    Fb = (1.0 + b**2) * TP / denom
    '''
    Metric = (TP / NR) - (FP / NS)

    return Metric


def training(metric, learning_rate):
    optimizer = tf.train.AdamOptimizer(learning_rate)
    train_op = optimizer.minimize(metric)
    return train_op

当我尝试最小化任何指标时，我会收到这样的错误：

ValueError：没有为任何变量提供渐变，检查图表中不支持渐变的操作，变量[...]和丢失Tensor（“Training / Sub_3：0”，shape =（），dtype = float32））。

我该怎么做才能使用一些自定义度量而不是损失函数来训练我的神经网络？也许添加一些渐变定义？如何为上述指标做到这一点？

Answer 1

指标必须与您的参数不同。张量流方法tf.equal不可微分。

如果您不确定某个操作是否可以与您的参数区分开来，您可以使用tf.gradients方法找到答案。

import tensorflow as tf

w = tf.Variable(1, name="w", dtype=tf.float32 ) # parameter to optimize for
x = tf.placeholder(shape=(), dtype=tf.float32, name="x") # input
op = tf.multiply(w,x)

grads_op_wrt_w = tf.gradients(op, w)
print(grads_op_wrt_w)

我为一个检查操作here的渐变流的方法创建了一个小小的要点。

如何为Tensorflow优化器创建自定义指标？

1 个答案: