Question

我正在使用hparams here关注google的tensorboard教程。但是，当我尝试在自己的模型中实现该功能时，日志中没有任何显示。主要区别在于我使用了图像数据生成器，但是我看不到它将如何影响超参数。我已经包含了用于获取超参数的所有代码，但是为了方便起见，删除了我导入的模型和基本软件包。

# Load the TensorBoard notebook
%load_ext tensorboard
# Clear all logs
!rm -rf ./logs/

这是我为超参数设置的内容。只是学习速度和体重下降。在本教程中略有扩充，但基本上都采用了相同的样式。

HP_lr = hp.HParam('learning_rate', hp.Discrete([3, 4, 5]))
HP_weight_decay= hp.HParam('l2_weight_decay', hp.Discrete([4, 5, 6]))
METRIC_ACCURACY = 'accuracy'

这与说明上述值有些不同，但它们只是变量名

# file writer
with tf.summary.create_file_writer('logs/hparam_tuning').as_default():
  hp.hparams_config(
    hparams=[HP_lr, HP_weight_decay],
    metrics=[hp.Metric(METRIC_ACCURACY, display_name='Accuracy')],
  )

我有一个使用hparams参数构建模型的函数。除了在model.fit中使用datagen.flow（）外，没有任何变化。

def train_test_model(hparams):
  model = build_model(hparams)
  model.fit(datagen.flow(x_train, y_train, batch_size=64),
                    epochs=1,verbose=0)
  _, accuracy = model.evaluate(x_test, y_test,batch_size=64, verbose = 1)
  return accuracy

# For each run log the metrics and hyperparameters used
def run(run_dir, hparams):
  with tf.summary.create_file_writer(run_dir).as_default():
    hp.hparams(hparams)  # record the values used in this trial
    accuracy = train_test_model(hparams)
    tf.summary.scalar(METRIC_ACCURACY, accuracy, step=1)

设置要由hp使用的字典

session_num = 0
for learn_rate in HP_lr.domain.values:
  for wd in HP_weight_decay.domain.values:
      hparams = {
          HP_lr: 1*10**(-learn_rate), # transform to something like 1e-3
          HP_weight_decay: 1*10**(-wd)
      }
      run_name = "run-%d" % session_num
      print('--- Starting trial: %s' % run_name)
      print({h.name: hparams[h] for h in hparams})
      run('logs/hparam_tuning/' + run_name, hparams)
      session_num += 1

%tensorboard --logdir logs/hparam_tuning

Tensorboard的问题，没有任何日志记录

0 个答案: