Python 2.7.3内存错误

时间:2012-11-29 20:53:15

标签: python

我有一个特定的python代码案例。每次运行代码时,RAM内存都会增加,直到达到1.8 gb并崩溃。

import itertools
import csv
import pokersleuth

cards = ['2s',  '3s',   '4s',   '5s',   '6s',   '7s',   '8s',   '9s',   'Ts',   'Js',   'Qs',   'Ks',   'As',   '2h',   '3h',   '4h',   '5h',   '6h',   '7h',   '8h',   '9h',   'Th',   'Jh',   'Qh',   'Kh',   'Ah',   '2c',   '3c',   '4c',   '5c',   '6c',   '7c',   '8c',   '9c',   'Tc',   'Jc',   'Qc',   'Kc',   'Ac',   '2d',   '3d',   '4d',   '5d',   '6d',   '7d',   '8d',   '9d',   'Td',   'Jd',   'Qd',   'Kd',   'Ad']
flop = itertools.combinations(cards,3)

a1 = 'Ks' ; a2 = 'Qs'
b1 = 'Jc' ; b2 = 'Jd'

cards1 = a1+a2
cards2 = b1+b2

number = 0
n=0
m=0

for row1 in flop:
    if (row1[0] <> a1 and row1[0] <>a2 and row1[0] <>b1 and row1[0] <>b2) and (row1[1] <> a1 and row1[1] <>a2 and row1[1] <>b1 and row1[1] <>b2) and (row1[2] <> a1 and row1[2] <> a2 and row1[2] <> b1 and row1[2] <> b2):
        for row2 in cards:
            if (row2 <> a1 and row2 <> a2 and row2 <> b1 and row2 <> b2 and row2 <> row1[0] and row2 <> row1[1] and row2 <> row1[2]):
                s = pokersleuth.compute_equity(row1[0]+row1[1]+row1[2]+row2, (cards1, cards2))
                if s[0]>=0.5:
                    number +=1
                    del s[:]
                del s[:]

        print number/45.0
        number = 0
        n+=1

2 个答案:

答案 0 :(得分:2)

我发生内存泄漏的测试没有结果,但是假设它没有发生在montecarlo.dll中,我想我会尝试multiprocessing.Pool()并将工作分成较小的块,我加载我可以在开始使用过多内存之前终止的一些进程:

from itertools import combinations, product, islice
from multiprocessing import Pool
from pokersleuth import compute_equity

num_procs = 4
num_jobs = 256
chunk_size = num_procs * num_jobs

join = ''.join

drawn = a1, a2, b1, b2 = 'Ks', 'Qs', 'Jc', 'Jd'
pairs = (a1 + a2, b1 + b2)

deck = (join(reversed(c)) for c in product('shcd', '23456789TJQKA'))
deck = [card for card in deck if card not in drawn]

def compute_chances(cards):
    return sum(compute_equity(cards + card, pairs)[0] >= 0.5
               for card in deck if card not in cards) / 45.0

if __name__ == '__main__':
    combis = (join(each) for each in combinations(deck, 3))
    i = 0
    while True:
        pool = Pool(processes=num_procs)
        chunk = list(islice(combis, chunk_size))
        for i, chances in enumerate(pool.imap(compute_chances, chunk), i + 1):
            print i, chances
        pool.terminate()
        if len(chunk) < chunk_size:
            break

结果与您的计划相同。

以下是任务管理器对最后7个17循环(17296种组合,其中chunk_size为1024)的内存消耗的说法:

10 loops

每个循环使用大约400 MB并且花费34分钟来处理所有组合。

我没有手动输入一副卡片,而是让计算机为我创建。我拒绝做计算机可以做的事情。

为了尽可能减少传递给每个进程的数据量,我只将三张牌的每个组合发送到compute_chances()并在那里计算其他所有内容。

如果montecarlo.dll是可重入的,我并不是真的,但结果似乎表明它是。

我的代码中num_procsnum_jobs的值在我的计算机上运行良好。你应该玩它们来为你找到最佳设置。

答案 1 :(得分:1)

你正在运行 Linux(我是对的吗?),并且你正在达到你系统上的最大进程映像大小,因为linux上的进程无法减少它们的内存大小。 windows。 / p>

您的选择是将其拆分,以便在达到内存限制后可以恢复,编译内核具有更高的进程大小限制,或在Windows上运行