我从推文中提取了数百个网址。大多数这些URL都被像bit.ly这样的外部服务缩短了,我需要扩展它们以进行比较。现在我正在使用上一篇文章中的方法:How can I unshorten a URL using python?我的代码如下:
r = requests.head(url)
if r.status_code / 100 == 3:
expanded_url = r.headers['Location']
else:
expanded_url = r.url
大多数网址扩展只需不到3秒,但对于如此庞大的网址,它会快速累加。有更快的方法吗?
答案 0 :(得分:0)
我建议看看https://docs.python.org/2/library/threading.html模块。延迟可能不是您的代码,而是您要连接的服务器。这将允许您拨打电话,而不必在下一次之前等待响应。
答案 1 :(得分:0)
检查缩短服务的API。其中一些提供批量服务,根据this page,bit.ly可以选择发送最多15个网址以扩展一次通话。
使用/ v3 / lookup,/ v3 / expand和/ v3 / clicks端点,可以在一次API调用中处理最多15个网址。