Question

希望为Python并行化脚本按顺序打印所有内容。注意c3在b2之前打印-乱序。有什么办法让下面的功能具有等待功能？如果重新运行，有时对于较短的批次，打印顺序是正确的。但是，正在寻找可重现的解决方案。

from joblib import Parallel, delayed, parallel_backend
import multiprocessing

testFrame = [['a',1], ['b', 2], ['c', 3]]

def testPrint(letr, numbr):
  print(letr + str(numbr))
  return letr + str(numbr)

with parallel_backend('multiprocessing'):
  num_cores = multiprocessing.cpu_count()
  results = Parallel(n_jobs = num_cores)(delayed(testPrint)(letr = testFrame[i][0], 
        numbr = testFrame[i][1]) for i in range(len(testFrame))) 

print('##########')
for test in results:
  print(test)

输出：

b2
c3
a1
##########
a1
b2
c3

Seeking:
a1
b2
c3
##########
a1
b2
c3

Answer 1

一旦您在单独的进程中启动任务，您将不再控制执行顺序，因此您无法期望这些任务的动作以任何可预测的顺序执行-尤其是当这些任务的执行时间不同时时间。

如果您要对带有序列参数的任务/函数进行并行化（？），并且您想对结果进行重新排序以匹配原始序列的顺序，则可以将序列信息传递给任务/函数，该任务/函数将由参数任务，可用于重建原始订单。

如果原始函数如下所示：

def f(arg):
    l,n = arg
    #do stuff
    time.sleep(random.uniform(.1,10.))
    result = f'{l}{n}'
    return result

重构该函数以接受序列信息，并将其与返回值一起传递。

def f(arg):
    indx, (l,n) = arg
    time.sleep(random.uniform(.1,10.))
    result = (indx,f'{l}{n}')
    return result

enumerate可用于将序列信息添加到数据序列：

originaldata = list(zip('abcdefghijklmnopqrstuvwxyz', range(26)))
dataplus = enumerate(originaldata)

现在，参数的格式为(index,originalarg) ... (0, ('a',0'), (1, ('b',1))。

多进程返回的值看起来像这样（如果收集在列表中）-

[(14, 'o14'), (23, 'x23'), (1, 'b1'), (4, 'e4'), (13, 'n13'),...]

可以很容易地对每个结果的第一项key=lambda item: item[0]进行排序，并可以通过对results = [item[1] for item in results]进行排序后挑选出第二项来获得您真正想要的值。

使用Python以真实顺序打印Parellel函数输出

1 个答案: