在HPC群集上从八度调用R脚本时出错

时间:2014-12-19 16:42:56

标签: r ssh cluster-computing octave hpc

我有一个octave脚本调用R脚本来对HPC群集进行一些计算。计算程序如下:

  1. 在群集上提交作业以分配计算节点,然后将计算分配给该节点中的每个CPU。 shell脚本的一部分看起来像这样

    count=0
    
    HOSTLIST=
    
    for host in `cat $PBS_NODEFILE`
    
      do
    
        HOSTLIST[$count]=$host
    
        count=$(($count+1))
    
    done
    
    ...
    ...
    ...
    
    mkdir case_$count
    
    cd case_$count
    
    export workdir=`pwd`
    
    remotehost=${HOSTLIST[$pcount]}
    
    ssh -n $remotehost "cd $workdir; export PATH=$PATH:$workdir; octave $MFILE > /dev/null" &
    
  2. 为简单起见,示例$MFILE内容为

    printf("Calling R script from Octave \n");
    
    system('./hello_world.R');
    
  3. hello_world.R

    #!/usr/bin/Rscript
    print("Hello World!")
    
  4. 运行时遇到错误

    sh: ./hellow_world.R: /usr/bin/Rscript: bad interpreter: No such file or directory
    
  5. 我的一些环境变量(以防万一)

    $ echo $PATH
    
    /usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/usr/local/cuda/bin:/opt/ganglia/bin:/opt/ganglia/sbin:/usr/java/latest/bin:/opt/maven/bin:/opt/maui/bin:/opt/torque/bin:/opt/torque/sbin:/opt/pvfs2/bin:/opt/rocks/bin:/opt/rocks/sbin
    
    $ which Rscript 
    
    /usr/bin/Rscript
    
    $ which R
    
    /usr/bin/R
    
  6. 如果我从命令行运行$MFILE,它运行正常并打印所需的输出就好了。我尝试过很多我在网上找不到的解决方案

    有谁知道出了什么问题?谢谢你的任何建议!

1 个答案:

答案 0 :(得分:0)

问题是R已加载到登录节点上但未加载到计算节点上。因此,在作业提交脚本中,在进行任何计算之前必须有一行加载R。例如:

    module load r/3.4.3

查看更多herehere