我正在尝试为这个网站编写一个python解析器' http://www.topuniversities.com/university-rankings/world-university-rankings/2015#sorting=rank+region=+country=+faculty=+stars=false+search='
每次我做普通的urlopen并打印它,它说 '访问被拒绝| www.topuniversities.com使用CloudFlare限制访问'。
尝试此方法后
class MyOpener(FancyURLopener):
version = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'
url = 'http://www.topuniversities.com/university-rankings/world-university rankings/2015#sorting=rank+region=+country=+faculty=+stars=false+search='
myopener = MyOpener()
page = myopener.open(url).read()
print page
但是这会打印出我的chrome检查元素所显示的内容。我需要解析他们排名的大学名称和通往他们页面的网址。 我该怎么办?请帮忙