Question

我一次可以准备好1个代码，我想将其升级为精美的多任务处理程序。我正在寻求有关可以用来实现目标的帮助。

我的代码按以下顺序执行：解析多页，解析多帖子，解析多图像。我尝试使用pool.map（）进行多页处理，这是Daemonic的KeyError不能有子进程的结果。我对这种多任务处理程序的理解是，解析页面速度很快，解析帖子和图像可能真的很长。

如果我在一页上同时解析帖子和图片，该怎么办？

我应该使用哪个模块？线？多处理？异步吗？我最近经历了很多事情，我在努力使用应该使用的东西。

Answer 1

所以，在我的头顶上，您可以看两件事。

1）Asyncio（请注意，此示例使用线程处理，并且不是线程安全的，特别是asyncio.gather函数）

import asyncio
for work in [1,2,3,4,5]:
    tasks.append(method_to_be_called(work))

results = await asyncio.gather(*tasks)