Python:urllib2什么都不存在

时间:2015-05-10 18:34:39

标签: python web-scraping web-crawler urllib2

我正在尝试抓取我的大学网站,然后设置cookie,然后添加标题:

homepage=opener.open("website")
content = homepage.read()
print content

我有时会得到源代码,但有时候什么都没有。

我无法弄清楚发生了什么。

我的代码错了吗?

或者网络很重要?

一个geturl()是否可以用来获得双倍甚至更多重定向?

redirect = urllib2.urlopen(info_url)
redirect_url = redirect.geturl()
print redirect_url

它可以生成最终的网址,但有时会让我成为中间网址。

0 个答案:

没有答案