使用Python urllib2.urlopen检测挂起

时间:2011-04-06 11:04:06

标签: python sockets networking

我正在使用Python's urllib2发送HTTP帖子:

import socket, urllib, urllib2

socket.setdefaulttimeout(15)    

postdata = urllib.urlencode({'value1' : 'a string', 'value2' : 'another string'})
headers = {
    'User-Agent': 'Agent',
    'Content-Type': 'application/x-www-form-urlencoded',
    'Accept': 'text/html, */*',
}

try: 
    request = urllib2.Request('http://www.example.com', postData, headers)
    response = urllib2.urlopen(request)
except urllib2.HTTPError, e:
    # Handle here
except urllib2.URLError, e:
    # Handle here
except httplib.HTTPException, e:
    # Handle here

有时网络问题导致对urlopen的调用永远不会返回。我们看到except块正确处理了其他错误(包括超时)并调用了socket.setdefaulttimeout(),但仍然存在urlopen永远不会返回的实例。

我知道它永远不会返回,因为我们的实际代码中有一些日志行会在之前和之后被调用,并且当出现此问题时,只会进行之前的调用并且脚本会永久挂起。

检测/处理此问题的最佳方法是什么?

1 个答案:

答案 0 :(得分:10)

您可以使用信号,首先为信号设置处理程序

import signal
...
def handler(signum, frame):
    print 'Signal handler called with signal', signum
...
signal.signal(signal.SIGALRM, handler)

并在 urlopen 电话

之前发出警报
signal.alarm(5)
response = urllib2.urlopen(request)
signal.alarm(0) # Disable the signal

5秒后(或您想要的时间)如果警报未被禁用(如果urlopen永不返回),操作系统将调用处理程序。有关信号模块的更多信息:http://docs.python.org/library/signal.html