在Google Colab中训练多种模型

Question

我正在建立一个模型集合，需要对126个不同的模型进行超参数选择，从线性模型到keras模型，每个模型都需要4到18个小时才能运行。

我计划在Google colab上执行此操作，因为我没有足够的计算资源。 我应该开设126个Google帐户并使用126个colab CPU / GPU并行训练所有模型吗？还是我应该在同一帐户上打开126个colab笔记本并在那里运行模型。 126个笔记本将共享相同的资源，还是每个笔记本都可以访问单独的CPU。

Answer 1

那不是colab的目的。您可以尝试使用Tensorflow中的超参数调谐器，而不要使用https://blog.tensorflow.org/2020/01/hyperparameter-tuning-with-keras-tuner.html。

Answer 2

Colab上可用的GPU和RAM的数量受Colab限制。您可以尝试同时运行多少个脚本，之后可以开始使用其他帐户。请注意，Colab中的非活动会话将关闭。

我个人将尝试找到一种涉及较少计算能力的方法。 Google Colab的可用硬件数量有限，过多使用该硬件可能会导致其他用户无法使用GPU。另外，滥用其功能可能会导致您被禁。

Answer 3

请注意，即使Google Colab可以免费使用，它也不能为您提供基本计划中资源的完全访问权限。因此，第二种方法不起作用，因为您只有一个高端GPU和一个CPU内核。 您可以尝试创建多个Google帐户，但请注意，根据Colab的政策，它们鼓励交互式会话而不是批处理会话，因此您可能会在数小时后停止培训。

我个人建议您尝试一种不同的方法，也许尝试使用较少的计算能力来更改模型或引入新的因素（在这种情况下，我怀疑权重衰减应该可以帮助您将相似的模型合并为单个）。