使用sco指定跨节点的worker的分布

时间:2016-08-22 23:02:13

标签: python parallel-processing hpc

在HPC群集上运行scoop程序时,有没有办法指定跨节点的工作人员分布?

我最近才遇到过scoop,到目前为止,它似乎是一个很好的工具,可以快速将设计为在单个计算节点上使用多处理运行的代码转换为同时使用多个节点的代码。

但是有没有办法使用sco在群集中每个计算节点只运行一个worker,以便允许代码中更深层次的多线程在每个多核节点内运行?

我知道可以使用-n标志指定要初始化的worker数,或者使用主机文件或--hosts标志指定要连接的特定主机(http://scoop.readthedocs.io/en/latest/usage.html#how-to-launch-scoop-programs)有办法使用主机文件吗?如果是这样,如何在具有调度系统的集群上(例如在这种情况下为扭矩)通常将节点分配给程序?

如果用scoop无法做到这一点,可以用其他软件包(MPI,Parallel Python,pathos等)来完成吗?

1 个答案:

答案 0 :(得分:0)

就从自己sc起吧。

似乎可以通过通过主机文件指定每个主机的工作程序数量来实现。

具有以下语法的主机文件:

second table

其中的名称是系统主机名或IP地址,数字代表要启动的工作程序的数量。

请参阅:https://scoop.readthedocs.io/en/0.7/usage.html#hostfile-format