使用asyncio和aiohttp从URL提取python3.7批量标题

Question

我想在列表中获得所有网站的标题。 这就是我现在正在使用的

https://gist.github.com/PandaWhoCodes/e6a4621d3b09889a98d12e67bb8c4cf9

在600个URL上运行仍然需要5分钟。 有什么办法可以使这个过程更快？

Answer 1

您确实需要调试和/或配置网络部分。似乎您对连接/带宽有一些限制-可能是您的ISP或服务限制了您的请求。

您的代码完全正确，只需几秒钟即可完成。分析显示，前3个“自己的时间”（其自身最消耗时间，没有呼叫链）是

• 民意调查选择
• zlib解压缩
• bytes.decode

这大约占总运行时间的50％。