Question

我使用accuracy中的tf.metrics函数来解决多重分类问题，并将logits作为输入。

我的模型输出如下：

logits = [[0.1, 0.5, 0.4],
          [0.8, 0.1, 0.1],
          [0.6, 0.3, 0.2]]

我的标签是一个热门的编码载体：

labels = [[0, 1, 0],
          [1, 0, 0],
          [0, 0, 1]]

当我尝试执行tf.metrics.accuracy(labels, logits)之类的操作时，它永远不会给出正确的结果。我显然做错了什么，但我无法弄清楚它是什么。

Answer 1

<强> TL; DR

准确度函数tf.metrics.accuracy计算预测根据标签创建的两个局部变量匹配的频率：total和count，用于计算{{1}的频率}匹配logits。

labels

acc（准确度）：只需使用acc, acc_op = tf.metrics.accuracy(labels=tf.argmax(labels, 1), predictions=tf.argmax(logits,1)) print(sess.run([acc, acc_op])) print(sess.run([acc])) # Output #[0.0, 0.66666669] #[0.66666669]和total返回指标，不会更新指标。
acc_op（更新）：更新指标。

要了解acc返回count的原因，请查看以下详细信息。

详细信息使用一个简单示例：

0.0

初始化变量：

由于logits = tf.placeholder(tf.int64, [2,3]) labels = tf.Variable([[0, 1, 0], [1, 0, 1]]) acc, acc_op = tf.metrics.accuracy(labels=tf.argmax(labels, 1), predictions=tf.argmax(logits,1))创建了两个局部变量metrics.accuracy和total，我们需要调用count来初始化它们。

local_variables_initializer()

了解更新操作和准确度计算：

sess = tf.Session()

sess.run(tf.local_variables_initializer())
sess.run(tf.global_variables_initializer())

stream_vars = [i for i in tf.local_variables()]
print(stream_vars)

#[<tf.Variable 'accuracy/total:0' shape=() dtype=float32_ref>,
# <tf.Variable 'accuracy/count:0' shape=() dtype=float32_ref>]

上述内容返回0.0表示准确度为print('acc:',sess.run(acc, {logits:[[0,1,0],[1,0,1]]})) #acc: 0.0 print('[total, count]:',sess.run(stream_vars)) #[total, count]: [0.0, 0.0]，而total为零，尽管提供了匹配的输入。

count

使用新输入时，将在调用update op时计算精度。注意：由于所有logits和标签都匹配，因此我们得到1.0的准确度，局部变量print('ops:', sess.run(acc_op, {logits:[[0,1,0],[1,0,1]]})) #ops: 1.0 print('[total, count]:',sess.run(stream_vars)) #[total, count]: [2.0, 2.0]和total实际上给出count和total correctly predicted。

现在我们使用新输入（而不是更新操作）调用total comparisons made：

accuracy

准确性调用不会使用新输入更新指标，它只使用两个局部变量返回值。注意：在这种情况下，logits和标签不匹配。现在再次调用update ops：

print('acc:', sess.run(acc,{logits:[[1,0,0],[0,1,0]]}))
#acc: 1.0

指标已更新为新输入

有关如何在培训期间使用指标以及如何在验证期间重置这些指标的详情，请参见here。

Answer 2

在TF 2.0上，如果您使用的是tf.keras API，则可以定义一个自定义类myAccuracy，该类继承自tf.keras.metrics.Accuracy，并覆盖如下的update方法：

# imports
# ...
class myAccuracy(tf.keras.metrics.Accuracy):
    def update_state(self, y_true, y_pred, sample_weight=None):
        y_true = tf.argmax(y_true,1)
        y_pred = tf.argmax(y_pred,1)
        return super(myAccuracy,self).update_state(y_true,y_pred,sample_weight)

然后，在编译模型时，您可以按通常的方式添加指标。

from my_awesome_models import discriminador

discriminador.compile(tf.keras.optimizers.Adam(),
                      loss=tf.nn.softmax_cross_entropy_with_logits,
                      metrics=[myAccuracy()])

from my_puzzling_datasets import train_dataset,test_dataset

discriminador.fit(train_dataset.shuffle(70000).repeat().batch(1000), 
                  epochs=1,steps_per_epoch=1, 
                  validation_data=test_dataset.shuffle(70000).batch(1000), 
                  validation_steps=1)

# Train for 1 steps, validate for 1 steps
# 1/1 [==============================] - 3s 3s/step - loss: 0.1502 - accuracy: 0.9490 - val_loss: 0.1374 - val_accuracy: 0.9550

或在整个数据集中评估模型

discriminador.evaluate(test_dataset.batch(TST_DSET_LENGTH))
#> [0.131587415933609, 0.95354694]

Answer 3

应用于CNN上，您可以编写：

x_len=24*24
y_len=2

x = tf.placeholder(tf.float32, shape=[None, x_len], name='input')

fc1 = ... # cnn's fully connected layer
keep_prob = tf.placeholder(tf.float32, name='keep_prob')
layer_fc_dropout = tf.nn.dropout(fc1, keep_prob, name='dropout')

y_pred = tf.nn.softmax(fc1, name='output')
logits = tf.argmax(y_pred, axis=1)

y_true = tf.placeholder(tf.float32, shape=[None, y_len], name='y_true')
acc, acc_op = tf.metrics.accuracy(labels=tf.argmax(y_true, axis=1), predictions=tf.argmax(y_pred, 1))


sess.run(tf.global_variables_initializer())
sess.run(tf.local_variables_initializer())

def print_accuracy(x_data, y_data, dropout=1.0):
    accuracy = sess.run(acc_op, feed_dict = {y_true: y_data, x: x_data, keep_prob: dropout})
    print('Accuracy: ', accuracy)

Answer 4

扩展了TF2.0的答案，此处的教程清楚地说明了如何使用tf.metrics来提高准确性和损失。 https://www.tensorflow.org/beta/tutorials/quickstart/advanced

请注意，它提到在每个时期之后都会重置指标：

  train_loss.reset_states()
  train_accuracy.reset_states()
  test_loss.reset_states()
  test_accuracy.reset_states()

当标签和预测均进行一次热编码时

def train_step(features, labels):
    with tf.GradientTape() as tape:
        prediction = model(features)
        loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=labels, logits=predictions))
    gradients = tape.gradient(loss, model.trainable_weights)
    optimizer.apply_gradients(zip(gradients, model.trainable_weights))
    train_loss(loss)
    train_accuracy(tf.argmax(labels, 1), tf.argmax(predictions, 1))

如何正确使用tf.metrics.accuracy？

4 个答案: