SLURM / Sbatch创建了许多小输出文件

时间:2017-10-24 10:32:17

标签: slurm snakemake sbatch

我在SLURM集群上运行管道,由于某种原因,许多较小的文件(大小在500到2000字节之间)以slurm-XXXXXX.out(其中XXXXXX为其中的行命名一个号码)。我试图找出这些文件在SLURM网站上是什么,但我找不到任何提及它们。我假设它们是系统在解析我的管道时使用的某种正在进行的文件?

如果重要,我正在运行的管道正在使用snakemake。我知道我之前看过这些类型的文件,没有snakemake,但我当时并不是一个大问题。我担心在工作流程的每一步之后清除这些文件的工作目录会中断正在进行的步骤,所以我现在没有对它们做任何事情。

这些文件是什么,以及如何抑制其输出,或者在相应的作业完成后删除它们?我是否以某种方式弄乱了我的工作流程,这就是他们被创建的原因?

1 个答案:

答案 0 :(得分:5)

您可能需要查看sbatch文档。您所指的文件基本上是SLURM日志,如下所述:

  

默认情况下,标准输出和标准错误都指向a   文件名为“slurm-%j.out”,其中“%j”替换为   工作分配编号。

您可以使用--error=<filename pattern>--output=<filename pattern>命令行选项更改文件名。 filename_pattern可以有一个或多个符号,将按照documentation中的说明进行替换。根据{{​​3}},您应该能够通过使用以下命令行选项来抑制标准输出和标准错误:

sbatch --output=/dev/null --error=/dev/null [...]