我有以下堆栈Python3.4 + Flask + Celery + Gevent + [Flask-] SQLAlchemy + Psycopg2并且芹菜工作者内存使用存在问题。
$ celery beat -A some_module -l info
$ celery worker -c 1000 -P gevent -l info -A some_module
没关系!但是,在正常运行2-3天后,芹菜工人会使用90%的记忆。
任务很简单:我们从一些REST API服务(requests
包)获取json数据并将其存储到postgresql DB(flask_sqlalchemy
包)。
如何解决此问题?