HPC上的“流程管理”有哪些解决方案?

时间:2019-09-10 04:14:54

标签: hpc

我要构建的用户友好型计算机可以用于正常任务(LibreOffice,Chrome等实例),就像单CPU计算机一样,但要注意的是它是HPC集群,自动分发应用程序实例以及各种后台进程。

我发现Rocks看起来很容易配置和管理节点。 Rocks似乎是使用CentOS配置/部署/管理HPC集群的非常好的框架,并且提供了简单的配置以使mpirun能够在多个节点上启动自定义代码,以及PBS之类的高级作业调度工具。

但是我可以找到这两个在计算节点上启动应用程序的仅有的框架/工具:

  1. 针对MPI库编译的代码。
  2. 使用“作业调度程序”启动的作业。

我碰到了这篇文章:https://stackoverflow.com/a/34403418

它描述了“作业调度”解决方案;这里还列出了其他类别,其中类别=“作业/数据计划程序”位于https://en.wikipedia.org/wiki/Comparison_of_cluster_software

这不是我所追求的。我正在寻找一种无需干预即可在计算节点上自动运行应用程序(理想情况下是后台进程)的解决方案。

我不认为基础架构可以满足我的需求。我认识到“在计算节点上运行后台进程”是一项复杂的任务,并且为此目的需要编写操作系统本身。那么...是否有一个可以执行此操作的操作系统,包括封闭源代码?

这时我看到的唯一解决方案是构建自己的某种由脚本组成的系统,以在特定的计算节点上而不是本地(使用blaunchGNU Parallel)上启动应用程序,并且也许是一个不断ps -e并试图将重量级进程重新分配给计算节点的进程(甚至不确定是否可行)。

如果我问错了,请告诉我。

谢谢!

0 个答案:

没有答案