以下python脚本在我的电脑上需要3秒才能加载Twitter页面的源代码,这比检索其他网站(如youtube)的源代码要高得多。当我在浏览器中加载相同的Twitter页面时,谷歌浏览器中的“网络”选项卡告诉我在0.3秒内检索到html。
为什么urllib比我的浏览器慢得多?
import urllib2
import time
start=time.time()
channel='pontifex'
url="https://twitter.com/"+channel
page = urllib2.urlopen(url).read()
print str(round(time.time()-start,0))+" secs total"
答案 0 :(得分:2)
缓存是答案,通常由浏览器完成,以减少频繁访问的网站的加载时间。如果不是浏览器,那么Google等搜索引擎也会缓存经常访问的网站,以便检索它们只需几毫秒
看这篇文章: How can Google be so fast?