为多个芹菜工人和线程正确设置Flask-SQLAlchemy

时间:2018-08-28 07:35:00

标签: python flask celery flask-sqlalchemy

当有多个涉及多个线程的celery工作者都查询同一数据库时,我正在努力使Flask,SQLAlchemy(mysql)和Celery设置正常工作。

问题是我无法弄清楚如何以及在何处应用所需的更改,这些更改使烧瓶应用程序和每个芹菜工作者获得一个孤立的数据库对象。

据我所知,需要单独的会话以避免严重的数据库错误,例如不完整的事务会阻塞其他数据库查询。

这是我当前的项目结构

/flask_celery.py

from celery import Celery

def make_celery(app):
    celery = Celery(app.import_name, backend=app.config['CELERY_RESULT_BACKEND'],
                    broker=app.config['CELERY_BROKER_URL'])
    celery.conf.update(app.config)
    TaskBase = celery.Task
    class ContextTask(TaskBase):
        abstract = True
        def __call__(self, *args, **kwargs):
            with app.app_context():
                return TaskBase.__call__(self, *args, **kwargs)
    celery.Task = ContextTask
    return celery

/app.py

#!/usr/bin/env python

import config
from app import app

app.run(port=82,debug=True, host='0.0.0.0')
#app.run(debug=True)

app / __ init.py __

from flask import Flask
from celery import Celery
from flask_sqlalchemy import SQLAlchemy
from flask_migrate import Migrate
from flask_celery import make_celery

app = Flask(__name__)
app.config.from_object('config')
app.secret_key = app.config['SECRET_SESSION_KEY']

db = SQLAlchemy(app)
migrate = Migrate(app, db)

celery = make_celery(app)

1 个答案:

答案 0 :(得分:1)

也许给SQLALCHEMY_BINDS一个机会。这是有关如何绑定多个数据库的指南。

恐怕您还应该采取其他措施。

  • 我假设您有config.py来保存应用程序配置。在SQLALCHEMY_BINDS类中向Config添加您准备的值,这可能是其他几个数据库的uri。
  • 如果文件存在,则处理models.py中的模型类。
  • 以某种方式管理您的bind_key作为参数(对不起,我没有详细介绍)。
  • bind_key参数处理正确的芹菜工作...

我希望这可以对您有所帮助。并且,如果您解决了这个问题,请告诉我,以便为有类似情况的人编辑此答案。