使用python并行处理函数

Question

我有一个大约需要10秒才能运行的过程。十个标题条目的以下功能大约需要100秒：

for title in titles_to_update:
    run_update_procedure(title)

并行化此过程的最佳方法是什么。会

pool = Pool(2)
pool.map(run_update_procedure, list(titles_to_update))

是最好的解决方法吗？

Answer 1

如果您有在系统上使用的备用核心，并且您在评论中澄清了这种情况，那么.map是一个不错的选择。 顺便说一下，你描述的任务类型我可能会使用.imap_unordered。查看文档here。