气流调度程序未并行运行多个dag

时间:2020-09-08 16:47:04

标签: airflow airflow-scheduler

你好,我在docker容器上运行Airflow 1:10.11。

Airflow一次只能运行一个Dag,并且来自其他dag的其他任务都设置为'None'状态,直到当前正在运行的任务完成执行。

您能帮我解决这里的问题吗?令人烦恼的是,我不能同时运行多个dag任务。

airflow.cfg中的并发设置:

**[Core]**
dag_concurrency = 16
Non_pooled_task_count = 128
max_active_runs_per_dag = 16
parallelism = 32
executer = LocalExecutor
sql_alchemy_conn = #POSTGRES connection string
sql_alchemy_pool_size = 10
**[worker]**
workers = 10
**[scheduler]**
max_threads = 20

0 个答案:

没有答案