Python多处理池内存问题,我做错了什么吗?

时间:2018-11-22 23:51:52

标签: python multithreading memory-management out-of-memory python-multiprocessing

我正在尝试使用Python的多处理池通过一个名为Bleualign的库处理大量文件。

几个小时后出现内存错误,我在下面的多处理方式上有问题吗?

#!/usr/bin/python
# -*- coding: utf-8 -*-
import os, sys, glob
from multiprocessing import Pool
number_of_workers = 4

def bleualign(file):
    cmd = "python3 '../bleualign/bleualign.py' -s ../4a_zh-tokenized-converted/"+file+" -t '../3_en-tokenized/"+file+"' --srctotarget './"+file+"' -o '../5_aligned-zh/"+file+"'"
    try:
        os.system(cmd)
    except:
        print('error')

files = []
os.chdir("./4b_zh-tokenized-sample-en")
for file in glob.glob("*.txt"):
    files.append(file)


mypool = Pool(number_of_workers)
mypool.map(bleualign, files)

0 个答案:

没有答案