我有一个要处理的100K项目列表。如何使用线程以并发方式处理它？

Question

我有100000个需要发布到URL端点的项目列表。 如果我按顺序处理这个，性能明智，这将是一个漫长的等待。这可以通过并行流程或并发未来来解决吗？显然，列表中的每个元素只能发布一次。我需要跟踪线程吗？

Answer 1

你的问题看起来是IO绑定的，而不是CPU绑定的，所以你可以使用aiohttp获得不错的表现，并使用asyncio.wait等待它们全部完成。