我多次访问同一个网站,每隔一段时间.net core
就会返回完整页面(如requests
所示。我已经包含了标题该特定请求的参数不同。
Content-Length
我不太了解html是否知道这是因为某些页面是由js动态生成的,但我想强制url = "http://www.atpworldtour.com/players/roger-federer/f324/player-activity?year=2016"
while True:
r = requests.get(url)
print r.headers
# {... , 'Content-Length': '40940', ... , 'Age': '807', ... , 'Connection': 'keep-alive', ..., 'X-ATP-Server': 'web4', ... , 'Via': '1.1 sng202146 ...', ...}
# {... , 'Content-Length': '40940', ... , 'Age': '807', ... , 'Connection': 'keep-alive', ..., 'X-ATP-Server': 'web4', ... , 'Via': '1.1 sng202146 ...', ...}
...
# {... , 'Content-Length': '40940', ... , 'Age': '808', ... , 'Connection': 'keep-alive', ..., 'X-ATP-Server': 'web4', ... , 'Via': '1.1 sng202146 ...', ...}
# {... , 'Content-Length': '41632', ... , 'Age': '817', ... , 'Connection': 'keep-alive', 'X-Trace': '1B7F99....', ... , 'X-ATP-Server': 'web1', ... , 'Via': '1.1 sng202055 ...', ...}
# {... , 'Content-Length': '40940', ... , 'Age': '812', ... , 'Connection': 'keep-alive', ..., 'X-ATP-Server': 'web4', ... , 'Via': '1.1 sng202146 ...', ...}
# {... , 'Content-Length': '40940', ... , 'Age': '814', ... , 'Connection': 'keep-alive', ..., 'X-ATP-Server': 'web4', ... , 'Via': '1.1 sng202146 ...', ...}
...
每次返回长度为41632的页面。我还没有尝试使用timeout参数,因为请求都正确返回(状态代码为requests
),但长度不同。