Google Cloud ML扩展了之前的超参数调优功能

Question

我正在使用Google Cloud ML运行超参数调整。我想知道是否有可能从（可能部分）以前的运行中受益。

一个应用程序将是：

1. 我启动了超参数调整工作
2. 我停止了，因为我想更改我正在使用的群集类型
3. 我想在新的群集上重新启动我的超级工作，但我希望从之前付费的运行中受益。

或其他申请：

1. 我发起了一场高薪之旅
2. 之后我想延长审判次数，而不是从头开始
3. 然后例如，我想删除一个自由度（例如training_rate），专注于其他参数

基本上，我需要的是“我怎样才能获得高压检查点？”

Thx！

Answer 1

是的，这是一个有趣的工作流程 - 使用当前的API集合并不完全可能，因此我们在未来的规划中需要考虑这些因素。

但是，我想知道是否有一些解决方法可以用来近似您的预期工作流程。

1. 从更多的试验开始 - 假设您可以取消某项工作，但不能延期。
2. 根据一些外部输入提前完成培训工作 - 例如。一旦你到达固定的training_rate，就可以将其记录在GCS的文件中，并将不同训练率的后续试验标记为不可行，这样试验就会结束。

进一步，例如。启动另一个作业（添加运行或更改比例层），您可能尝试使用相同的输出目录，这次查找具有客观指标的给定超参数集的先前结果（您需要记录它们）在某个地方，你可以查找它们 - 例如，创建gcs文件来跟踪试运行），这样特定的试验就会提前完成，培训将进入下一个试验阶段。从根本上推动自己的＆＃34;检查点进行高压＆＃34;。

正如我所提到的，所有这些都是变通方法，以及对目前能力的最终结果的探索性思考。