我通过请求python模块加载页面内容有一些问题 - 这是代码:
url ="http://www.bestbuy.com/site/macbooks/macbook-air/pcmcat378600050008.c?id=pcmcat378600050008"
headers = {
"User-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36"}
response = requests.get(url, headers=headers
page_source = response.content
print page_source
print len(page_source)
此代码在计时器功能中执行,并带有(10)interval - time.sleep(10)
但问题是 - 有时它会加载整页,长度约为408000个字符,有时候是176000个字符,每次我都有这些数字! 我怎么能理解这是什么问题或者是一个错误?或者可能是服务器更改网页内容? 然后我试着用20增加间隔,但问题仍然存在! urllib2模块也发生了同样的问题!