在排队的群集上使用Python进行并行计算

时间:2014-11-28 20:45:05

标签: python performance parallel-processing cluster-computing

lots个不同的模块用于线程化/并行化python。 Dispypp/ParallelPython似乎特别受欢迎。看起来这些都是针对具有许多核/处理器的单个接口(例如,桌面)而设计的。是否有一个模块适用于由队列系统运行的大规模并行体系结构(具体为:SLURM)?

2 个答案:

答案 0 :(得分:2)

用于科学/技术应用的大型计算集群上最常用的并行框架是MPI。 Python包的名称是MPI4py,它是SciPy的一部分。

MPI提供了一个高级API,用于使用消息通过网络进行通信来创建并行软件;远程进程创建,数据分散/收集,减少等。所有实现都能够利用快速和低延迟的网络(如果存在)。它与所有集群管理器完全集成,包括Slurm

答案 1 :(得分:0)

通过ParallelPython主页:

“PP是一个python模块,它提供并行执行python代码的机制 SMP(具有多个处理器或核心的系统)和集群(通过网络连接的计算机) 。“