python网页抓取-高尔夫障碍

时间:2018-08-07 11:14:09

标签: python web-scraping

我是一个初学者,所以我认为这应该很容易,但是,在浏览了bs4文档后,我一直在努力寻找解决方案。

如果您对高尔夫有所了解,可能会帮助您回答。

我正在尝试在此页面http://www.golf.org.au/Handicap/3012801370上的橙色大框中提取差点号码。当前数字为14.3,尽管情况有所变化。

我的程序

import requests, bs4
res = requests.get('http://www.golf.org.au/Handicap/3012801370')
res.raise_for_status()
gethcp = bs4.BeautifulSoup(res.text, "lxml")
hcp = gethcp.select('#ctl11_lblExactHandicap')
type(hcp)
hcp[0].getText()

我猜我在这部分做错了....(res.text,..

非常感谢任何指导

1 个答案:

答案 0 :(得分:0)

您的代码很好。问题是您将被重定向到此页面,

http://www.golf.org.au/handicap-interstitial/3012801370

您需要选择“跳过以查看您的HANDICAP历史>>”的位置。您可以使用if(fig == 't' .or. fig == 'T') 进行此操作,也可以添加会话cookie,但是在这种情况下,可以通过使用skip选项的Selenium来完成。这样看起来像:

href

这将为您提供预期的“ 14.3”输出。