什么在这个python脚本中使用所有RAM？

Question

我有非常简单的python脚本如下。在我的使用中，它只计算text file of DNA中长度为2的不同字符串的数量。

#!/usr/bin/python
#Count the number of distinct kmers in a file
import sys
def kmer_count(dna, k):
    total_kmers = len(dna) - k + 1
    # assemble dict of kmer counts
    kmer2count = {}
    for x in range(len(dna)+1-k):
        kmer = dna[x:x+k]
        kmer2count[kmer] = kmer2count.get(kmer, 0) + 1
    return(len(kmer2count))


workfile = "test.fa"
f = open(workfile, 'r')
dna = f.readline()
print "Number of bytes to represent input", sys.getsizeof(dna)
print "Number of items in dict", kmer_count(dna, 2)

打印

Number of bytes to represent input 10000037
Number of items in dict 71

但是当我使用

查看内存使用情况时

/usr/bin/time --format="Size:%MK  Cpu:%P  Elapsed:%e" ./kmer.py

我得到了

Size:332776K  Cpu:100%  Elapsed:2.57

什么是使用所有RAM？

Answer 1

您在for循环中使用了range，它构造了一个包含所有数字的列表。这必然非常大。

在Python 2中，循环遍历xrange：xrange懒惰地创建for循环的数字，因为它们是需要的。