Question

我正在尝试使用Mlflow记录评估过程中的步骤，但只能记录最后一步。使用 mlflow.tensorflow.autolog（）我能够在保存检查点时（在RunConfig中定义的每100个步骤）记录一些指标（例如丢失）。但是，我还需要在评估模型的每100个步骤中保存准确性和top3error。这是我的代码：

def top3error(features, labels, predictions):
    return {'top3error': tf.metrics.mean(tf.nn.in_top_k(predictions=predictions['logits'], 
                                                        targets=labels,
                                                        k=3))}
# Log metrics
mlflow.tensorflow.autolog()

with mlflow.start_run():
    steps = 1000

    mlflow.log_param("Steps", steps)    

    '''Training & Validation'''
    train_spec = tf.estimator.TrainSpec(input_fn=generate_input_fn(train), 
                                        max_steps=steps)
    eval_spec = tf.estimator.EvalSpec(name='validation',
                                      input_fn=generate_input_fn(test, num_epochs=1))

    tf.logging.info("Starting Run...")
    results = tf.estimator.train_and_evaluate(m, train_spec, eval_spec)    

    '''Log Run'''
    mlflow.log_metric("accuracy", results[0]['accuracy'])
    mlflow.log_metric("top3error", results[0]['top3error'])

这是模型中使用的RunConfig：

config=tf.estimator.RunConfig(
  model_dir=model_dir, 
  save_checkpoints_steps=100,
)

预先感谢

Answer 1

您可以通过指定要在Estimator中登录的指标来实现。除非您使用某种训练循环并逐步迭代，否则您将无法直接执行此操作。

请参见https://stackoverflow.com/a/45716062

Mlflow：使用Tensorflow train_and_evaluate记录评估阶段的步骤

1 个答案: