在Google Compute Engine上设置和运行网格作业的工具?

时间:2013-06-20 18:43:23

标签: google-compute-engine sungridengine condor starcluster embarrassingly-parallel

我需要在Google Compute Engine上设置并运行“令人尴尬”的并行作业。我正在寻找工具来促进这一点。

在EC2上,我使用MIT的Starcluster来设置群集,然后只将作业提交给SGE。

Google Compute Engine还有类似的工具吗?

如果没有,我可能会手动设置一个Condor Cluster来完成这些工作。嗡嗡声。

3 个答案:

答案 0 :(得分:5)

我没有找到任何东西。 Starcluster目前获得GCE支持的途径是等待GCE的官方boto支持。这一切都可能需要一段时间,所以我只是继续编写一些python代码来启动和终止基本集群。

我分享了here on github

我希望其他人发现它很有用,至少作为示例代码。

答案 1 :(得分:3)

Elasticluster拥有Google Compute Engine支持。 它与Starcluster非常相似,可以使用boto,GCE,Openstack在AWS上运行。 https://github.com/gc3-uzh-ch/elasticluster

答案 2 :(得分:0)

Starcluster非常酷。不幸的是,没有对GCE的支持,我现在对任何类似的系统都很熟悉。

我很乐意看到这种情况发生,所以如果你有所作为,请分享!