Python urllib2打开URL并等待一段时间

时间:2015-08-21 08:53:12

标签: python web-crawler urllib2

以下是这种情况:我想通过urllib2访问Python中的URL内容。

import urllib2

    url = www.iwanttoknowwhatsinside.com
    hdr = {
        'User-Agent': 'OpenAnything/1.0 +http://somepage.org/',
        'Connection': 'keep-alive'
    }

    request = urllib2.Request(url, headers=hdr)
    opener = urllib2.build_opener()  
    HTML = opener.open(request).read()

此代码通常正常。但是,如果我通过webbrowser访问某个页面,它会显示类似"在访问之前检查您的浏览器...您的浏览器将很快被重定向" 然后页面加载。网址永远不会改变。 ADD:然后我可以在页面上自由点击,或者用相同的URL打开第二个Tab。我只需要在初始访问之前等待。

如果我尝试通过Python访问此页面,我会立即得到 urllib2.HTTPError - Service Temporary Not Available ,所以我认为urllib2 不会等待那段时间。有没有办法在抛出异常或检索内容之前强制一些等待时间?或者我是以错误的方式看待这个?

0 个答案:

没有答案