无法访问此网页

时间:2016-08-18 13:28:18

标签: python html parsing url urlopen

我正在尝试为这个网站编写一个python解析器' http://www.topuniversities.com/university-rankings/world-university-rankings/2015#sorting=rank+region=+country=+faculty=+stars=false+search='

每次我做普通的urlopen并打印它,它说 '访问被拒绝| www.topuniversities.com使用CloudFlare限制访问'。

尝试此方法后

class MyOpener(FancyURLopener):
    version = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'
url = 'http://www.topuniversities.com/university-rankings/world-university rankings/2015#sorting=rank+region=+country=+faculty=+stars=false+search='
myopener = MyOpener()
page = myopener.open(url).read()
print page

但是这会打印出我的chrome检查元素所显示的内容。我需要解析他们排名的大学名称和通往他们页面的网址。 我该怎么办?请帮忙

0 个答案:

没有答案