Horovod和Tensorflow估算器

Question

如何将使用tf.train.MonitoredTrainingSession的{​​{3}}示例扩展为使用tf.estimator.Estimator？我使用的是Tensorflow 1.4.0。

Horovod与我当前的代码非常相似。

我想和hyperopt一起使用它，我喜欢我可以轻松地做一些像

这样的事情

tf.contrib.learn.learn_runner.run(
      experiment_fn=_create_my_experiment,
      run_config=run_config,
      schedule="train_and_evaluate",
      hparams=hparams)

使用不同的超参数hparams进行训练。这也为我提供了用于训练和验证集的单独的Tensorboard日志目录 - 我也希望这也适用于Horovod解决方案。我玩了tf.train.SingularMonitoredSession(hooks=hooks, config=config)，其中hooks包含tf.train.SummarySaverHook，但我只能让它与训练集很好地协同工作。

Answer 1

Horovod回购邮件中添加了TensorFlow Estimator example。