Question

我正在尝试为我的CNN运行Talos超参数搜索。 Talos具有6个GPU可以更快地运行实验，它的功能multi_gpu似乎很方便。

my_new_model = multi_gpu(my_new_model, gpus=6)
my_new_model.compile(...)

需要在model.compile之前调用该函数。

但是，似乎同时只能执行一个作业。我希望可以同时处理具有6种可能路径的实验。现在它仍然一个接一个地工作。

有什么想法吗？

Answer 1

multi_gpu用于在单个计算机上的多个GPU上运行单个任务。

根据您在数据集，架构，参数等方面的工作，这可以大大减少实验时间。即使仍然“一对一”地执行排列，每个排列的执行时间也更少。