Question

最初的问题

我在python（3.5）中编写了一个生物信息学脚本，它解析了一个大的（已排序和索引的）bam文件，代表基因组上排列的测序读数，关联基因组信息（＆＃34;注释和＃ 34;）对这些读取，并计算遇到的注释类型。我正在测量我的脚本处理对齐读取的速度（超过1000次读取），并获得以下速度变化：

什么可以解释这种模式？

我的直觉会让我赌一些数据结构，随着它越来越密集，逐渐变慢，但会不时扩展。

虽然看起来内存使用率并不高，但是（运行差不多2小时后，根据htop，我的脚本仍然只占我计算机内存的0.1％）。

我的代码如何工作（请参阅最后的实际代码）

我使用pysam模块进行bam文件解析。 AlignmentFile.fetch方法为我提供了一个迭代器，以AlignedSegment个对象的形式提供有关连续对齐读取的信息。

我根据对齐坐标和gtf格式的注释文件（使用bgzip压缩并使用tabix索引）将注释与读取相关联。我使用TabixFile.fetch方法（仍然来自pysam）来获取这些注释，我会过滤它们并以frozenset字符串的形式生成它们的摘要（process_annotations ，未在下面显示，在生成器函数中返回这样的frozenset），该函数在内部循环遍历AlignedSegment迭代器。

我将生成的frozensets提供给Counter对象。计数器能否对观察到的速度行为负责？

如何找出如何避免这些经常性减速？

附加测试

根据评论中的建议，我使用cProfile对我的整个分析进行了分析，发现在访问注释数据时花费的时间最多（pysam/ctabix.pyx:579(__cnext__)，请稍后查看调用图），如果我理解正确的是一些与samtools C库连接的Cython代码。看来减速的原因似乎很难理解。

为了加速我的脚本，我尝试了另一种基于pybedtools python接口和bedtools的解决方案，它还可以从gtf文件中检索注释（https://daler.github.io/pybedtools/index.html）。

速度

速度提升非常重要。以下是实际的命令和时间结果（两者实际并行运行）：

$ time python3 -m cProfile -o tests/total_pybedtools.prof ~/src/bioinfo_utils/small_RNA_seq_annotate.py -b results/bowtie2/mapped_C_elegans/WT_1_21-26_on_C_elegans_sorted.bam -g annotations/all_annotations.gtf -a "pybedtools" -l total_pybedtools.log > total_pybedtools.out

real    5m48.474s
user    5m48.204s
sys     0m1.336s

$ time python3 -m cProfile -o tests/total_tabix.prof ~/src/bioinfo_utils/small_RNA_seq_annotate.py -b results/bowtie2/mapped_C_elegans/WT_1_21-26_on_C_elegans_sorted.bam -g annotations/all_annotations.gtf.gz -a "tabix" -l total_tabix.log > total_tabix.out

real    195m40.990s
user    194m54.356s
sys     0m47.696s

（需要注意的是：两个方法的注释结果略有不同。也许我应该检查一下如何处理坐标。）

速度曲线没有先前观察到的长周期下降：

我的速度问题已经解决，但我仍然对后见之明仍然感兴趣，为什么基于tabix的方法有这些速度下降。我添加了＆＃34;生物信息学＆＃34;和＆＃34; samtools＆＃34;标签就是这个原因。

调用图表

为了记录，我在分析结果上使用gprof2dot生成了调用图：

$ gprof2dot -f pstats tests/total_pybedtools.prof \
    | dot -Tpng -o tests/total_pybedtools_callgraph.png
$ gprof2dot -f pstats tests/total_tabix.prof \
    | dot -Tpng -o tests/total_tabix_callgraph.png

以下是基于tabix的方法的调用图：

对于基于pybedtools的方法：

代码

以下是我当前代码的主要部分：

@contextmanager
def annotation_context(annot_file, getter_type):
    """Yields a function to get annotations for an AlignedSegment."""
    if getter_type == "tabix":
        gtf_parser = pysam.ctabix.asGTF()
        gtf_file = pysam.TabixFile(annot_file, mode="r")
        fetch_annotations = gtf_file.fetch
        def get_annotations(ali):
            """Generates an annotation getter for *ali*."""
            return fetch_annotations(*ALI2POS_INFO(ali), parser=gtf_parser)
    elif getter_type == "pybedtools":
        gtf_file = open(annot_file, "r")
        # Does not work because somehow gets "consumed" after first usage
        #fetch_annotations = BedTool(gtf_file).all_hits
        # Much too slow
        #fetch_annotations = BedTool(gtf_file.readlines()).all_hits
        # https://daler.github.io/pybedtools/topical-low-level-ops.html
        fetch_annotations = BedTool(gtf_file).as_intervalfile().all_hits
        def get_annotations(ali):
            """Generates an annotation list for *ali*."""
            return fetch_annotations(Interval(*ALI2POS_INFO(ali)))
    else:
        raise NotImplementedError("%s not available" % getter_type)
    yield get_annotations
    gtf_file.close()

def main():
    """Main function of the program."""
    parser = argparse.ArgumentParser(
        description=__doc__,
        formatter_class=argparse.ArgumentDefaultsHelpFormatter)
    parser.add_argument(
        "-b", "--bamfile",
        required=True,
        help="Sorted and indexed bam file containing the mapped reads."
        "A given read is expected to be aligned at only one location.")
    parser.add_argument(
        "-g", "--gtf",
        required=True,
        help="A sorted, bgzip-compressed gtf file."
        "A corresponding .tbi tabix index should exist.")
    parser.add_argument(
        "-a", "--annotation_getter",
        choices=["tabix", "pybedtools"],
        default="tabix",
        help="Method to use to access annotations from the gtf file.")
    parser.add_argument(
        "-l", "--logfile",
        help="File in which to write logs.")
    args = parser.parse_args()
    if not args.logfile:
        logfilename = "%s.log" % args.annotation_getter
    else:
        logfilename = args.logfile
    logging.basicConfig(
        filename=logfilename,
        level=logging.DEBUG)
    INFO = logging.info
    DEBUG = logging.debug
    WARNING = logging.warning
    process_annotations = make_annotation_processor(args.annotation_getter)
    with annotation_context(args.gtf, args.annotation_getter) as get_annotations:
        def generate_annotations(bamfile):
            """Generates annotations for the alignments in *bamfile*."""
            last_t = perf_counter()
            for i, ali in enumerate(bamfile.fetch(), start=1):
                if not i % 1000:
                    now = perf_counter()
                    INFO("%d alignments processed (%.0f alignments / s)" % (
                        i,
                        1000.0 / (now - last_t)))
                    #if not i % 50000:
                    #    gc.collect()
                    last_t = perf_counter()
                yield process_annotations(get_annotations(ali), ali)
        with pysam.AlignmentFile(args.bamfile, "rb") as bamfile:
            annot_stats = Counter(generate_annotations(bamfile))
            print(*reversed(annot_stats.most_common()), sep="\n")
    return 0

（我使用了一个contextmanager和其他高阶函数（make_annotation_processor和这个函数调用），以便在同一个脚本中更容易地使用各种注释检索方法。）

使用pysam.TabixFile注释读取

最初的问题

附加测试

速度

调用图表

代码

0 个答案: