如何在现有Google Cloud计算引擎上的Python脚本中实现SLURM?

时间:2018-08-14 15:15:30

标签: python google-cloud-platform slurm

我在Google Cloud计算引擎上运行了一个密集脚本。有一定数量的潜在并行性,但是脚本运行时会使用100%的CPU。

我希望通过使用多个内核或VM来加快执行速度,但我知道不建议(而且很困难)建议在Python中使用多个内核。我目前正在研究部署和使用SLURM通过可变的群集大小来解决此问题。但是,我不想创建一个新的Compute Engine实例(作为控制器),而是想将SLURM功能添加到现有实例中,并能够在现有脚本中创建作业调用。

到目前为止,通过遵循this教程,我已经能够在项目中创建集群。 是否可以从在与创建的控制器不同的CPU上运行的脚本中发送作业?还是可以使现有的计算引擎实例成为SLURM集群的控制器?还是有其他方法可以做我想做的事?

任何帮助将不胜感激-这是该领域的新手,并且乐于学习,因此您可以提供的信息越多越好!

0 个答案:

没有答案