Flask-Socketio不从外部RQ进程发出

时间:2018-08-01 13:48:50

标签: python multithreading flask task-queue flask-socketio

我正在运行一个Flask服务器,该服务器通过Flask-Socketio连接到iOS客户端。服务器必须处理一些复杂的数据,由于要花一些时间才能解决,因此我使用Redis Queue在后台作业中进行处理。

通信正常工作,但是我需要发送给客户端,并在工作完成后写入数据库,而我正在尝试通过工作功能来实现(如果有一种方法可以让应用知道何时工作完成后,该应用程序可以在一个地方处理所有通信)。

为此,我在工作中启动了一个新的Socketio实例,并将其连接到redis队列,但是我认为我做错了方法。

它不会崩溃,但是客户端没有收到任何东西。

这是我的代码:

tasks.py

# This is the job
def engine(path, id):
    result = process(path)
    print(result)
    socket = SocketIO(message_queue = os.environ.get('REDIS_URL'))
    socket.emit('info', result)

events.py

def launch_task(name, description, *args, **kwargs):
    rq_job = current_app.task_queue.enqueue('app.tasks.' + name,
                                        *args, **kwargs)
    return rq_job.get_id()

@socketio.on('File')
def got_file(file):
    print("GOT FILE")
    print(file[0])
    name = file[0] + ".csv"
    path = queue_dir + name
    data = file[1]
    csv = open(path, "w")
    csv.write(data)
    csv.close()
    print(path)
    launch_task("engine", "test", path, request.sid)

__ init __。py

socketio = SocketIO()

def create_app(debug=False, config_class=Config):
    app = Flask(__name__)
    app.debug = debug
    app.config.from_object(config_class)

    app.redis = Redis.from_url(app.config['REDIS_URL'])
    app.task_queue = rq.Queue('alg-tasks', connection=app.redis)

    from .main import main as main_blueprint
    app.register_blueprint(main_blueprint)

    socketio.init_app(app)
    return app

events.py处理所有通信并启动工作程序。

我认为实例化Socketio时我的论点是错误的,但是我不知道...关于Socketio和后台作业还有很多我不了解的地方。

谢谢!

1 个答案:

答案 0 :(得分:2)

在应用程序上,您必须使用SocketIO和消息队列初始化app对象:

socketio.init_app(app, message_queue=os.environ.get('REDIS_URL'))

在您的RQ工作人员上,您做对了,只是使用了消息队列:

socket = SocketIO(message_queue=os.environ.get('REDIS_URL'))

但是每次创建一个新的SocketIO实例都是浪费资源,您应该创建一个全局实例,该实例可以在工作者处理的多个任务中重用。