使用eventlet和Redis调试Flask socketio会产生额外的greenthreads?

时间:2016-03-10 22:35:14

标签: flask redis werkzeug eventlet flask-socketio

我正在尝试整理一个订阅Redis事件的简单Flask / socketio / eventlet服务器。我看到的行为是,启用Flask调试后,每次Werkzeug检测到更改并重新启动socketio时,我的另一个redis侦听器也会启动(除了旧的侦听器不会退出)。

这是一个删除了所有socketio处理程序的工作版本:

import json
from flask import Flask, render_template
from flask_socketio import SocketIO, emit
from flask.ext.redis import FlaskRedis
import eventlet
eventlet.monkey_patch()

with open('config/flask.json') as f:
    config_flask = json.load(f)

app = Flask(__name__, static_folder='public', static_url_path='')
app.config.update(
      DEBUG= True,
      PROPAGATE_EXCEPTIONS= True,
      REDIS_URL= "redis://localhost:6379/0"
    )

redis_cache = FlaskRedis(app)
socketio = SocketIO(app)

@app.route('/')
def index():
    cache = {}
    return render_template('index.html', **cache)

def redisReader():
    print 'Starting Redis subscriber'
    pubsub = redis_cache.pubsub()
    pubsub.subscribe('msg')
    for msg in pubsub.listen():
        print '>>>>>', msg

def runSocket():
    print "Starting webserver"
    socketio.run(app, host='0.0.0.0')

if __name__ == '__main__':
    pool = eventlet.GreenPool()
    pool.spawn(redisReader)
    pool.spawn(runSocket)
    pool.waitall()

投入一些手册redis-cli发布(PUBLISH msg himom) 这会产生以下输出:

Starting Redis subscriber
Starting webserver
 * Restarting with stat
>>>>> {'pattern': None, 'type': 'subscribe', 'channel': 'msg', 'data': 1L}
Starting Redis subscriber
Starting webserver
 * Debugger is active!
 * Debugger pin code: 789-323-740
(22252) wsgi starting up on http://0.0.0.0:5000
>>>>> {'pattern': None, 'type': 'subscribe', 'channel': 'msg', 'data': 1L}
>>>>> {'pattern': None, 'type': 'message', 'channel': 'msg', 'data': 'himom'}
>>>>> {'pattern': None, 'type': 'message', 'channel': 'msg', 'data': 'himom'}

为什么Redis监听器会多次启动?如果我进行更改并保存,Werkzeug将每次都启动另一个。我该如何正确处理?

以下是相关软件包及其版本的列表:

  • Python 2.7.6
  • Flask 0.10.1
  • Werkzeug 0.11.4
  • eventlet 0.18.4
  • greenlet 0.4.9
  • Flask-Redis 0.1.0
  • Flask-SocketIO 2.2

**更新** 我现在有一个部分解决方案。上面的所有内容保持不变,除了池行为已经移入Flask的'before_first_request'函数:

def setupRedis():
    print "setting up redis"
    pool = eventlet.GreenPool()
    pool.spawn(redisReader)

def runSocket():
    print "Starting Webserver"
    socketio.run(app, host='0.0.0.0')

if __name__ == '__main__':
    app.before_first_request(setupRedis)
    print app.before_first_request_funcs
    runSocket()

剩下的问题是'before_first_request'没有处理现有websockets的情况,但这是一个单独的问题。

2 个答案:

答案 0 :(得分:1)

添加简单的print(os.getpid())并观察ps aux。您应该注意到有两个Python进程。更改DEBUG=False,和"问题"没有复制,现在也有一个Python进程。

所以问题是你的代码创建了redisReader,无论它是一个"工人经理"或者是一个真正的请求处理程序"处理。所以,不要无条件地创建和启动pool。请参阅Werkzeug文档,您的"应用程序初始化"事件,并且只在那里开始redisReader

答案 1 :(得分:1)

这里的解决方案是将我的线程放入Flask调用的函数中:

def setupRedis():
    pool = eventlet.GreenPool()
    pool.spawn(redisReader)
...
app.before_first_request(setupRedis)

这解决了Werkzeug重启后留下的额外线程。