并行化函数以在多个文件上运行

Question

我有一个python脚本（带有方法），它解析.txt文件以匹配某些字符串。我还有其他四个.txt文件，它们都位于包含原始文件的同一目录中。我如何进行并行化代码，以便我可以在所有代码上运行python脚本？

Answer 1

例如使用concurrent.futures：

from concurrent.futures import ThreadPoolExecutor

list_of_files = ["foo1", "foo2", "foo3", "foo4"]

with ThreadPoolExecutor(max_workers=4) as e:
    futures = [e.submit(your_parsing_function(f) for f in list_of_files]

您可以使用as_completed方法添加可选的后处理逻辑。