Question

我已经构建了一个解析器，它使用下面的代码来下载网页。代码似乎以非常随机的方式工作，并且有时返回空响应。

我尝试使用time.sleep（3秒）查看是否可以解决问题，但它仍会不时返回空答案。

我不确定为什么会这样做，并且想知道是否有人知道如何防止这种情况发生？

谢谢吉勒

import urllib2

def process_requests():

    request = urllib2.Request('http://www.ssehl.co.uk/HALO/publicLogon.do')
    response = urllib2.urlopen(request) 


    print "response info", response.info()
    print "response code", response.getcode()
    print "response : ", response.read()[211:252]
    response.close()


for i in range(0,5):
    process_requests()

空响应示例：

回复信息日期：星期一，2013年11月25日20:41:43 GMT 服务器：Oracle-Application-Server-10g Set-Cookie：JSESSIONID = a10c07c130d5fdeb7df75afa4d39b17ffa5d4101dacb.e38Pb34TaNqKbO0LbNaLax0Nbx0Oe0;路径= / HALO 连接：关闭转移编码：分块内容类型：text / html

响应代码200 回复：

对同一请求的正确回复：

回复信息日期：星期一，2013年11月25日20:41:42 GMT 服务器：Oracle-Application-Server-10g 内容位置：http://www.ssehl.co.uk/HALO/jsp/notices/viewPublicNotices.jsp Set-Cookie：JSESSIONID = a10c07c130d5b4139b6e961f496d89d5b49bb891e975.e38Pb34TaNqKbO0LbNaLax0Nbx0Oe0;路径= / HALO 到期日：1970年1月1日星期四00:00:00 GMT 缓存控制：无存储，无缓存，必须重新验证 Cache-Control：post-check = 0，pre-check = 0 Pragma：没有缓存连接：关闭转移编码：分块内容类型：text / html;字符集= ISO-8859-1

响应代码200 响应：“meta http-equiv =”Expires“content =”0“”

用urlilb2清空响应

0 个答案: