Question

我想创建一个工作流，该工作流从远程服务器下载一些FASTQ文件的列表，检查md5并运行一些后处理，例如对齐。

我了解如何使用两个工作流程来实现这一点：

首先下载fastq文件列表文件，例如md5文件。
读取md5文件的内容，并根据all规则为所需的结果文件创建相应的目标。

我想在一个工作流程中做到这一点。下面不正确的工作流程显示了我想要实现的想法。

在all规则input:部分中，我不知道{sample}文件在下载和解析之前的md5值
我尝试使用动态检查点和子叉流，但未能获得所需的结果。至于dynamic，我仅设法仅针对动态（“ fastq / {sample} .fq.gz.md5”）输出实现了此工作流程。
此外，我对不使用dynamic的解决方案感兴趣，因为该解决方案已过时。

rule all:
    input:
         "md5",
         "bams/{sample}.bam",

rule download_files_list:
    output: "md5"
    #shell: "wget {}".format(config["url_files_list"])
    run:
        # For testing instead of downloading:
        content = """
        bfe583337fd68b3  ID_001_1.fq.gz
        1636b6756daa65f  ID_001_2.fq.gz
        0428baf25307249  ID_002_1.fq.gz
        de33d81ba5bfa62  ID_002_2.fq.gz
        """.strip()
        with open(output[0], mode="w") as f:
            print(content, file=f)

rule fastq_md5_files:
    input: "md5"
    output: "fastq/{sample}.fq.gz.md5"
    shell: "mkdir -p fastq && awk '{{ print $0 > (\"fastq/\" $2 \".md5\") }}' {input}"

rule download_fastq_and_check_md5:
    input: "fastq/{sample}.fq.gz.md5"
    output: "fastq/{sample}.fq.gz"
    #shell: "wget {}/{{sample}} && md5sum --check {{input}}".format(config["url_file_prefix"])
    shell: "touch {output}" 

rule align_fastq:
    input: "fastq/{sample}.fq.gz"
    output: "bams/{sample}.bam"
    shell: "touch {output}" # aligning task

Answer 1

您可以下载fastq文件列表，并在执行makeakemake规则之前使用纯Python代码从中提取示例列表：

def download_files_list(output):
    """Download the list of fastq files and return the list
    of samples
    """
    content = """
    bfe583337fd68b3  ID_001_1.fq.gz
    1636b6756daa65f  ID_001_2.fq.gz
    0428baf25307249  ID_002_1.fq.gz
    de33d81ba5bfa62  ID_002_2.fq.gz
    """.strip()
    with open(output, mode="w") as f:
        print(content, file=f)
    return ['ID_001_1', 'ID_001_2', 'ID_002_1', 'ID_002_2']    

samples= download_files_list("md5")
wildcard_constraints:
    sample= '|'.join([re.escape(x) for x in samples]),

rule all:
    input:
         expand("bams/{sample}.bam", sample= samples),

rule fastq_md5_files:
    input: "md5"
    output: "fastq/{sample}.fq.gz.md5"
    shell: """awk '{{ print $0 > ("fastq/" $2 ".md5") }}' {input}"""

rule download_fastq_and_check_md5:
    input: "fastq/{sample}.fq.gz.md5"
    output: "fastq/{sample}.fq.gz"
    #shell: "wget {}/{{sample}} && md5sum --check {{input}}".format(config["url_file_prefix"])
    shell: "touch {output}" 

rule align_fastq:
    input: "fastq/{sample}.fq.gz"
    output: "bams/{sample}.bam"
    shell: "touch {output}" # aligning task

（我很想知道使用检查点或类似方法的更复杂的解决方案）

Answer 2

我对如何使用the new checkpoint feature感到困惑。这是一个简化的说明性示例：

shell.prefix('set -vexu pipefail; ')

rule finish:
        input:
                "D/all.txt"

checkpoint A:
        output:
                mydir = directory("A")
        shell: """
                mkdir -p A
                N=$(( $RANDOM % 7 + 1))
                echo "N=$N"
                # Create a number of files. (
                for i in $(seq 1 $N); do
                        echo $i > "A/$i.txt"
                done
        """

rule B:
        output:
                txt = "B/{i}.txt",
        input:
                txt = "A/{i}.txt",
        shell: """
                mkdir -p B
                cp -f {input.txt} {output.txt}
        """

rule C:
        output:
                txt = "C/{i}.txt",
        input:
                txt = "B/{i}.txt",
        shell: """
                mkdir -p C
                cp -f {input.txt} {output.txt}
        """

def gatherForD_fromC_basedOnA(wildcards):
        checkpoint_output = checkpoints.A.get(**wildcards).output.mydir
        # That will raise if not ready.

        ivals = glob_wildcards(os.path.join(checkpoint_output,
                        "{i}.txt")).i
        print("ivals={}".format(ivals))
        return expand("C/{i}.txt", i=ivals)

rule D:
        output:
                combined = "D/all.txt",
        input:
                gathered = gatherForD_fromC_basedOnA,
        shell: """
                mkdir -p D
                cat {input.gathered} > {output.combined}
        """

复制到snakefile并使用运行

snakemake --verbose -p

检查点/规则A输出随机数量的文件。（当然，您可以将其基于“输入”部分。）
规则B和C是使用标准 snakemake “通配符”的并行规则。
规则D根据输入生成函数接受未知数量的输入。
函数gatherForD_fromC_basedOnA等待检查点规则A的输出，但它命名规则C的输出，该规则最终由规则{占用{1}}。结果， snakemake 知道D会消耗什么（D完成后）。因此，它知道A必须产生什么。这样就知道C必须产生什么。
最后，规则B等待特定的已知文件。

在不使用不推荐使用的动态API的情况下使用动态输入构建工作流

2 个答案: