我正在努力解决这个生物信息学问题:https://stepic.org/lesson/An-Explosion-of-Hidden-Messages-4/step/1?course=Bioinformatics-Algorithms-2&unit=8
具体问题在上面链接的第5个窗口,问题是:大肠杆菌基因组中有多少个不同的9聚体形成(500,3)个聚集体? (换句话说,不要多次计算9-mer。)
我的代码如下。这是错误的,我想要解释为什么,以及如何改进它(显然O效率很糟糕,但几天前我开始编写Python ...)非常感谢!
genome = '' #insert e. Coli genome here
k = 4 #length of k-mer
L = 50 #size of sliding window
t = 3 #k-mer appears t times
counter = 0
Count = []
for i in range(0,len(genome)-L): #slide window down the genome
pattern = genome[i:i+k] #given this k-mer
for j in range(i,i+L): #calculate k-mer frequency in window of len(L)
if genome[j:j+k] == pattern:
counter = counter + 1
Count.append(counter)
counter = 0 #IMPORTANT: reset counter after each i
Clump = []
for i in range(0,len(Count)):
if Count[i] == t: #figure out the window that has k-mers of frequency t
Clump.append(i)
Output = []
for i in range(0,len(Clump)):
Output.append(genome[Clump[i]:Clump[i]+k])
print " ".join(list(set(Output))) #remove duplicates if a particular k-mer is found more than once
print len(Output)
print len(list(set(Output))) #total number of Clump(k,L,t)
答案 0 :(得分:5)
有趣的问题。 I've put up an implementation with a few tests on github here。继续阅读以获得一些解释。
ben@nixbox:~/bin$ time python kmers.py ../E-coli.txt 9 500 3
(500, 3)-clumps of 9-mers found in that file: 1904
real 0m15.510s
user 0m14.241s
sys 0m0.956s
这里的问题(在大数据中很常见)实际上归结为选择正确的数据结构,并进行一些时间/空间权衡。如果选择正确,您可以按照基因组的长度线性移动,并将空间线性移动到滑动窗口的长度。但我领先于自己。让我们直观地解释问题(主要是因为我可以理解它: - ))。
在这个窗口中有一个(20,3)块3聚体:“CAT”。还有一些其他的(一个“AAA”),但这个例子说明了k,L和t正在做什么。
现在,关于算法。让我们进一步减少问题所以我们可以想象我们如何解析和存储它:让我们看看一个简单的(5,3) - 3-mers的块。
Brackets在这里表示我们的宽度为5的滑动窗口。我们可以看到,在我们的窗口中,我们的3-mers分解为ATA
,TAA
和AAA
。当我们向右滑动窗口时,ATA
会退出,我们会获得第二个AAA
。当我们将窗口向右滑动时,现在TAA
退出,我们获得了第三个AAA
- 我们找到了{5}个AAA
的丛。
dict
s)在我们的窗口中对k-mers进行计数。这消除了线性搜索我们的数据结构以确定其中有多少特定k-mer的需要。
所以这两个要求 - 记住插入顺序和哈希支持的数据结构 - 意味着我们应该创建一个自定义类来维护list
- 或者更好,deque
- 每个kmer您在窗口中拥有dict
- 或更好,Counter
- 以跟踪您的双端队列中每个kmer的频率。请注意,OrderedDict
接近为您完成所有这些,但并不完全;如果计数大于1,则弹出最老的kmer是错误的。
您真正应该用来简化代码的另一件事是合适的sliding window iterator。
全部放在一起:
def get_clumps(genome, k, L, t):
kmers = KmerSequence(L-k, t)
for kmer in sliding_window(genome, k):
kmers.add(kmer)
return kmers.clumps
class KmerSequence(object):
__slots__ = ['order', 'counts', 'limit', 'clumps', 't']
def __init__(self, limit, threshold):
self.order = deque()
self.counts = Counter()
self.limit = limit
self.clumps = set()
self.t = threshold
def add(self, kmer):
if len(self.order) > self.limit:
self._remove_oldest()
self._add_one(kmer)
def _add_one(self,kmer):
self.order.append(kmer)
new_count = self.counts[kmer] + 1
self.counts[kmer] = new_count
if new_count == self.t:
self.clumps.add(kmer)
def _remove_oldest(self):
self.counts[self.order.popleft()] -= 1
用法:
with open(genomefile) as f:
genome = f.read()
k = 9
L = 500
t = 3
clumps = get_clumps(genome, k,L,t)
如上所述,完整代码 - 包括一些附件函数以及脚本直接作为__main__
运行时的处理 - 在github上here。随意分叉等。
答案 1 :(得分:0)
只是另一种实现
def findClumps(genome, k, L, t):
length = len(genome) - k + 1
indexes = defaultdict(list)
result = set()
for i in range(length):
kterm = genome[i:i + k]
# remove positions with distance > L
while indexes[kterm] and i + k - indexes[kterm][0] > L:
indexes[kterm].pop(0)
# add current kterm position
indexes[kterm].append(i)
if len(indexes[kterm]) == t:
result.add(kterm)
return result
filename = 'E-coli.txt'
file = open(filename)
genome = file.read()
k=9
L=500
t=3
def test():
print findClumps(genome, k, L, t)
import cProfile
cProfile.run('test()')