我正在尝试使用Python的多处理池通过一个名为Bleualign的库处理大量文件。
几个小时后出现内存错误,我在下面的多处理方式上有问题吗?
#!/usr/bin/python
# -*- coding: utf-8 -*-
import os, sys, glob
from multiprocessing import Pool
number_of_workers = 4
def bleualign(file):
cmd = "python3 '../bleualign/bleualign.py' -s ../4a_zh-tokenized-converted/"+file+" -t '../3_en-tokenized/"+file+"' --srctotarget './"+file+"' -o '../5_aligned-zh/"+file+"'"
try:
os.system(cmd)
except:
print('error')
files = []
os.chdir("./4b_zh-tokenized-sample-en")
for file in glob.glob("*.txt"):
files.append(file)
mypool = Pool(number_of_workers)
mypool.map(bleualign, files)