python请求获取内容加载

时间:2017-08-03 20:04:46

标签: python python-requests urllib2 web-content

我通过请求python模块加载页面内容有一些问题 - 这是代码:

url ="http://www.bestbuy.com/site/macbooks/macbook-air/pcmcat378600050008.c?id=pcmcat378600050008"

headers = {
        "User-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36"}

response = requests.get(url, headers=headers
page_source = response.content

print page_source

print len(page_source)

此代码在计时器功能中执行,并带有(10)interval - time.sleep(10)

但问题是 - 有时它会加载整页,长度约为408000个字符,有时候是176000个字符,每次我都有这些数字! 我怎么能理解这是什么问题或者是一个错误?或者可能是服务器更改网页内容? 然后我试着用20增加间隔,但问题仍然存在! urllib2模块也发生了同样的问题!

0 个答案:

没有答案