Question

自11月初以来，我一直坚持在Linux集群中运行并行作业。我已经在互联网上搜索A LOT搜索信息，但我根本无法进步。当我开始使用集群在R中搜索并行性时，我发现了Rmpi。它看起来很简单，但现在我还没有做更多的事情。我有一个脚本来发送我的工作：

#PBS -S /bin/bash
#PBS -N ANN_residencial
#PBS -q linux.q
#PBS -l nodes=8:ppn=8

cd $PBS_O_WORKDIR

source /hpc/modulos/bash/R-3.3.0.sh

export LD_LIBRARY_PATH=/hpc/nlopt-2.4.2/lib:$LD_LIBRARY_PATH
export CPPFLAGS='-I/hpc/nlopt-2.4.2/include '$CPPFLAGS
export PKG_CONFIG_PATH=/hpc/nlopt-2.4.2/lib/pkgconfig:$PKG_CONFIG_PATH

# OPENMPI 1.10 + GCC 5.3
source /hpc/modulos/bash/openmpi-1.10-gcc53.sh
mpiexec --mca orte_base_help_aggregate 0 -np 1 -hostfile ${PBS_NODEFILE} /hpc/R-3.3.0/bin/R --slave -f sunhpc_mpi.r

这是我的R计划的开始：

library(caret)
library(Rmpi)
library(doMPI)

cl <- startMPIcluster()
registerDoMPI(cl)

所以这是我的问题：

1-这样我应该初始化进程（即使用starMPIcluster whitout参数并在命令行使用-np 1）？

2-为什么当我使用这个命令时，MPI会抱怨它？＃/ p>

An MPI process has executed an operation involving a call to the
"fork()" system call to create a child process....

OBS：他说，对于所有64个进程（因为有8个节点有8个cpus，我创建了63个进程）

3-为什么当我在60 CPU的机器上使用这个命令时，他只会产生两个工人？

Answer 1

最后，我明白了！

要使用群集中的Rmpi在R中运行并行程序，您需要根据系统配置作业脚本。接下来在命令行上：

return false;

您必须修改为：

mpiexec -np NUM_PROC -hostfile $ {PBS_NODEFILE} /hpc/R-3.3.0/bin/R --slave -f sunhpc_mpi.r

在R代码中，你不能详细说明任何'startMPIcluster（）'因此，代码将完全按照我上面的描述。

Linux集群，Rmpi和进程数量

1 个答案: