创建多头节点HPC集群

Question

我有一个HPC集群，其中多个Web应用程序安装在Docker容器中，使用Torque管理队列。每个应用程序都将作业提交到通过ssh连接到它的HPC群集，然后运行qsub：ssh user@cluster qsub bla blabla。有用于交换数据的共享文件夹。

我对此设置不满意，我想知道是否有可能在每个docker上运行一个masternode并直接在其中使用qsub而不进行ssh连接。我更愿意使用扭矩，但我愿意接受其他解决方案。

Answer 1

Torque允许多个提交主机。

主机的名称或地址应添加到Torque服务器配置中的submit_hosts变量中，此处是手册的相关页面。

qmgr -c 'set server submit_hosts = headnode'
qmgr -c 'set server submit_hosts += app1'
qmgr -c 'set server submit_hosts += app2'

假设app1和app2是Docker容器的域名。您将需要配置名称解析。

有关更多详细信息和其他选项，请参见Torque manual。