urllib比浏览器访问html慢

时间:2015-12-24 05:54:18

标签: python web-scraping urllib

以下python脚本在我的电脑上需要3秒才能加载Twitter页面的源代码,这比检索其他网站(如youtube)的源代码要高得多。当我在浏览器中加载相同的Twitter页面时,谷歌浏览器中的“网络”选项卡告诉我在0.3秒内检索到html。

为什么urllib比我的浏览器慢得多?

import urllib2
import time

start=time.time()
channel='pontifex'
url="https://twitter.com/"+channel
page = urllib2.urlopen(url).read()
print str(round(time.time()-start,0))+" secs total"

1 个答案:

答案 0 :(得分:2)

缓存是答案,通常由浏览器完成,以减少频繁访问的网站的加载时间。如果不是浏览器,那么Google等搜索引擎也会缓存经常访问的网站,以便检索它们只需几毫秒

看这篇文章: How can Google be so fast?