有没有一种方法可以同时将每个joblib.parallel运行的结果写入其自己的文件中？

Question

单个并行运行的每个“并行”结果都需要写入其自己的文件中。如果我能够命名每个结果，也可以解决。

我有一个生成一些数据的函数。每次运行时，数据都会略有不同，因此我需要运行几次。我目前有使用joblib.Parallel的工作代码以加快此过程。问题是结果是所有并行运行的一长串列表，将其写入单独的文件既复杂又容易出错。

def fn(x):
    for i in np.linspace(0, x, 1000):
        a = x
        b = 2*x
        return a, b

ans = Parallel(n_jobs=-1)(delayed(fn)(x) for x in np.linspace(0,5,5))
ans
# I need to either name/extract each result in the list below, or directly write each into its own file
out[]: [(0.0, 0.0), (1.25, 2.5), (2.5, 5.0), (3.75, 7.5), (5.0, 10.0)]

Answer 1

如果只希望每个进程写入其自己的文件，则可以执行以下操作。

def fn(x):
    for i in np.linspace(0, x, 1000):
        a = x
        b = 2*x
        with open(str(x)+"_file.csv", 'w') as file:
            file.write(a, b)

        return a, b

ans = Parallel(n_jobs=-1)(delayed(fn)(x) for x in np.linspace(0,5,5))

但是我不确定您为什么要这样做，如果您让我们更详细地了解您的最终目标是什么，我相信我们可以提供更多帮助。