可以在本地运行ml-engine HP优化吗？

Question

我正在尝试使用本地服务器上的ml引擎为我的模型调整HP。在我的情况下，该模型训练一次通过，但没有执行HP试验。这是配置问题，还是本地模式不支持HP优化？

我的本​​地命令：

  

gcloud ml-engine local train --package-path $ PWD --module-name example.train --configuration example / hpconfig.yaml---param1 16 --param2 2

我的配置文件：

trainingInput:
  workerCount: 1
  hyperparameters:
    goal: MINIMIZE
    hyperparameterMetricTag: val_loss
    maxTrials: 10
    maxParallelTrials: 1
    enableTrialEarlyStopping: True
    params:
    - parameterName: param1
      type: INTEGER
      minValue: 4
      maxValue: 128
      scaleType: UNIT_LINEAR_SCALE
    - parameterName: param2
      type: INTEGER
      minValue: 1
      maxValue: 4
      scaleType: UNIT_LINEAR_SCALE

Answer 1

不幸的是，HP Tuning无法在本地模式下运行。我会建议这样的工作流程：

1. 使用小数据等在本地运行，以确保一切正常（我建议使用GCS路径）。
2. 在云上运行一个小型测试（单个作业），以确保依赖关系正确，数据文件正确指向GCS而不是本地，等等。
3. 运行HP调优作业。

一旦1和2工作，通常3也将工作。

此外，作为旁注。 Kubeflow支持Katib，用于从任何kubernetes部署中运行HP调整作业，包括Minikube（用于本地开发）。