如何在不使用mysql的情况下在气流中使用CeleryExecutor

时间:2017-04-03 20:45:42

标签: redis celery airflow

我的后端是redis,但气流套件中附带的airflow.cfg文件仅举例说明使用mysql作为CeleryExecutor的后端。基本上不确定如何为sql_alchemy_conn后端的airflow.cfg设置/替换以下redis

sql_alchemy_conn = sqlite:////Users/myself/airflow/airflow.db

通过谷歌搜索没有运气。

使用redis作为CeleryExecutor的后端的任何样本airflow.cfg

1 个答案:

答案 0 :(得分:1)

“sql_alchemy_conn”用于处理DAG运行的元数据库等。

我猜你要为redis设置以下内容作为Celery的后端

[core]
executor = CeleryExecutor
...
[celery]
broker_url = redis://BROKER_URL/...
celery_result_backend = redis://BROKER_URL/...