并行文件处理，每个文件两个任务（python）

Question

有人可以建议如何并行处理文件吗？

现在我可以哈希/校验和文件，但是已经处理的文件等待第一个任务完成。

让我们说您有足够的I / O来处理更多内容。

如何编写以下算法：

哈希/校验和文件+复制已经校验和的内容（并行）-基本上，两个进程运行哈希+复制

我不知道该怎么解释，希望您能理解。

我已经用Python编写了程序，但想知道如何编写该程序的并行版本。

致谢

大卫

Answer 1

这听起来像是joblib的工作。

import os
from joblib import Parallel, delayed

files = os.listdir(the_dir)

def hash_checksum_copy(file):
    [your logic here]

Parallel(n_jobs=[your n cores])(delayed(hash_checksum_copy)(file) for file in files)

祝你好运。 ：）