我正在尝试抓取我的大学网站,然后设置cookie,然后添加标题:
homepage=opener.open("website")
content = homepage.read()
print content
我有时会得到源代码,但有时候什么都没有。
我无法弄清楚发生了什么。
我的代码错了吗?
或者网络很重要?
一个geturl()
是否可以用来获得双倍甚至更多重定向?
redirect = urllib2.urlopen(info_url)
redirect_url = redirect.geturl()
print redirect_url
它可以生成最终的网址,但有时会让我成为中间网址。