celery + eventlet = 100%CPU使用率

时间:2012-03-14 07:14:15

标签: python django celery eventlet

我们正在使用芹菜来获取不同旅行的航班数据 机构,每个请求需要大约20-30秒(大多数机构需要 请求序列 - 授权,发送请求,轮询结果)。

正常 芹菜任务看起来像这样:

from eventlet.green import urllib2, time 
def get_results(attr, **kwargs): 
    search, provider, minprice = attr 
    data = XXX # prepared data 
    host = urljoin(MAIN_URL, "RPCService/Flights_SearchStart") 
    req = urllib2.Request(host, data, {'Content-Type': 'text/xml'}) 
    try: 
        response_stream = urllib2.urlopen(req) 
    except urllib2.URLError as e: 
        return [search, None] 
    response = response_stream.read() 
    rsp_host = urljoin(MAIN_URL, "RPCService/FlightSearchResults_Get") 
    rsp_req = urllib2.Request(rsp_host, response, {'Content-Type': 
'text/xml'}) 
    ready = False 
    sleeptime = 1 
    rsp_response = '' 
    while not ready: 
        time.sleep(sleeptime) 
        try: 
            rsp_response_stream = urllib2.urlopen(rsp_req) 
        except urllib2.URLError as e: 
            log.error('go2see: results fetch failed for %s IOError %s'% 
(search.id, str(e))) 
        else: 
            rsp_response = rsp_response_stream.read() 
            try: 
                rsp = parseString(rsp_response) 
            except ExpatError as e: 
                return [search, None] 
            else: 
                ready = rsp.getElementsByTagName('SearchResultEx') 
[0].getElementsByTagName('IsReady')[0].firstChild.data 
                ready = (ready == 'true') 
        sleeptime += 1 
        if sleeptime > 10: 
            return [search, None] 
    hash = "%032x" % random.getrandbits(128) 
    open(RESULT_TMP_FOLDER+hash, 'w+').write(rsp_response) 
   # call to parser 
    parse_agent_results.apply_async(queue='parsers', args=[__name__, 
search, provider, hash]) 

此任务在具有concurency 300的eventlet池中运行, prefetch_multiplier = 1broker_limit = 300 从队列中取出~100-200任务时 - CPU使用率提高到100% (使用整个CPU核心)并执行从队列中获取任务 有延误。

请指点可能的问题 - 阻止 操作(eventlet ALARM DETECTOR没有例外),错误 建筑或其他什么。

2 个答案:

答案 0 :(得分:0)

如果向服务器发出200个请求,则会出现问题,响应可能会延迟,因此urllib.urlopen将挂起。

我注意到的另一件事:如果引发了URLError,程序将保持while循环,直到sleeptime大于10.因此URLError错误会让这个脚本睡眠55秒(1 + 2 + 3 ......等)

答案 1 :(得分:0)

很抱歉迟到的回复。

我会先尝试在这种情况下首先在Celery和你的代码中完全关闭Eventlet,使用进程或操作系统线程模型。对于OS调度程序来说,300个线程甚至进程的负载并不多(尽管您可能缺少运行许多进程的内存)。所以我会尝试一下,看看CPU负载是否会急剧下降。如果没有,那么问题在于您的代码,并且Eventlet无法神奇地修复它。但是,如果它确实下降,我们需要更仔细地研究这个问题。

如果错误仍然存​​在,请通过以下任何方式报告: