我是高性能计算的新用户,我正在尝试运行一个总共需要大约80GB内存的串行作业。但是,对于我们的集群,一个节点可用的总内存仅为12GB(我们实验室的集群有点旧)。我在线阅读了一些指南,根据我的理解,只有MPI作业可以利用多个节点的内存?这是真的吗?关于如何解决我的特定问题的任何想法?非常感谢你们!
答案 0 :(得分:0)
您所描述的是分布式系统的某种共享内存抽象。不幸的是,集群或任何其他HPC系统都不能像这样工作,您需要利用节点间通信(消息传递)来访问更多内存。 MPI是分布式处理的事实标准,您无法在不对代码进行编辑的情况下完成超出节点内存限制的弱扩展。
答案 1 :(得分:-1)
我从未听说过MPI能够运行需要比单个节点更多内存的代码(除非应用程序专门用于在节点之间共享内存)。不过,ElasticOS可以解决这个问题:http://synergy.cs.vt.edu/2015-nsf-xps-workshop/reports/Richard_Han_45-Conference_Presentation_ElasticOS_XPS_2015.2.pdf