我一直在尝试理解多处理模块。
我有1000个文件(总大小= 8 GB),其中包含我需要过滤的行。我根据我的过滤条件为每个文件filename_good filename_bad创建了两个文档。
from multiprocessing import Pool
if __name__ == '__main__' :
with Pool(processes=8, maxtasksperchild=1) as pool:
pool.map(startroutine,globs,chunksize=1)