在并行处理中更改$ TMPDIR

时间:2015-07-30 17:59:38

标签: hpc gnu-parallel slurm

我在高性能计算系统上运行批处理作业以对齐读取并使用GNU并行来加速我的工作,但是我的工作失败了,原因如下:

  

parallel:错误:输出不完整。无法附加到缓冲区文件中   $ TMPDIR。磁盘已满吗? parallel:错误:用$更改$ TMPDIR   --tmpdir或使用--compress。

我的工作脚本如下所示:

module load samtools/1.2

export TMPDIR=/scratch/$SLURM_JOBID

cd /data
ls *sam* | parallel "samtools sort –T /scratch/$SLURM_JOBID/{.} -O bam -o {}.bam {}"

有谁知道如何解决这个问题?

2 个答案:

答案 0 :(得分:1)

您是否尝试过GNU Parallel建议的内容?

{{1}}

答案 1 :(得分:1)

我收到相同的消息“parallel:Error:使用--tmpdir更改$ TMPDIR或使用--compress”

我尝试添加" - tmpdir / home / mydirectory"到脚本,但是当我看到文件" / home / mydirectory /"没有创建任何东西,我看到默认目录" / tmp /"并且仍在该目录中创建临时文件(如/ tmp / pAh6uWuQCg,/ tmp / opjhZCzAX4等)。对我来说,这意味着脚本中的参数“--tmpdir / home / mydirectory”不起作用。

在我的情况下,我运行我的应用程序的脚本隔离并检查日志,并意识到我的应用程序有错误,因为日志显示错误消息,它填写文件" / tmp /&# 34;

也许我的经历会帮助你