Python:用于扩展缩短的URL的更快的方法

时间:2015-02-12 22:48:01

标签: python performance tweepy

我从推文中提取了数百个网址。大多数这些URL都被像bit.ly这样的外部服务缩短了,我需要扩展它们以进行比较。现在我正在使用上一篇文章中的方法:How can I unshorten a URL using python?我的代码如下:

r = requests.head(url)
if r.status_code / 100 == 3:
    expanded_url = r.headers['Location']
else:
    expanded_url = r.url

大多数网址扩展只需不到3秒,但对于如此庞大的网址,它会快速累加。有更快的方法吗?

2 个答案:

答案 0 :(得分:0)

我建议看看https://docs.python.org/2/library/threading.html模块。延迟可能不是您的代码,而是您要连接的服务器。这将允许您拨打电话,而不必在下一次之前等待响应。

答案 1 :(得分:0)

检查缩短服务的API。其中一些提供批量服务,根据this page,bit.ly可以选择发送最多15个网址以扩展一次通话。

  

使用/ v3 / lookup,/ v3 / expand和/ v3 / clicks端点,可以在一次API调用中处理最多15个网址。