我今天早上正在练习一些编程,并且正在尝试编写一个网络爬虫来获取此网站的竞赛结果:[1] http://www.iresultslive.com/desktop_results.php?op=overall&bib=&prev_bib=&eid=893&year=2014&racename=5k&subop=males。
当我在浏览器上导航时,上面的链接会返回1-50的结果列表,并在html中包含指向“下一页”的链接。当我点击下一页时,它会转到[2] http://www.iresultslive.com/desktop_results.php?op=overall&subop=males&racename=5k&eid=893&year=2014&showplace=50&place=56的页面。当我再次点击下一步时,它会转到与[2]相同的链接,除了参数[3] showplace = 100& place = 121。因此,它通过某种数据库进行调整,每次更改参数showplace和place。
然而,当我在这个网站上使用Python请求库时,我的行为略有不同。对[1]的初始查询返回与浏览器相同的结果,并带有[2]的链接。然而,当我随后使用请求查询[2]时,我获取“下一步”的链接不指向[3],而是再次指向[2]。任何人都可以帮我弄清楚为什么会这样吗?
我尝试过使用Cookie验证HTTP标头,但不了解情况。
谢谢!