dag中的气流“并发”参数不一致

Question

我正在创建具有可配置执行程序数量的动态dag。

dap中提供的

“ concurrency”参数不一致，因为它并不总是产生那么多并行任务。

将airflow.cfg设置为：

parallelism = 32

dag_concurrency = 16

关于为什么可能无法按预期运行的任何想法，或者我需要更改的任何其他设置。请提出建议。

谢谢

Answer 1

您可以在实例化dag时设置并发性：

input : anagrams(word: "ARC?", from: ["BOU", "BAC", "ARCS", "ARCH", "TREE","ARCHE","PROUE"]) output : ["ARCS", "ARCH", "ARCHE"]

Answer 2

要想在dag中执行多个并发任务，在气流中，您必须在实例化dag时设置并发性，并且它应该不止一个。

dag = DAG(dag_id=DAG_ID, default_args=default_args, max_active_runs=1,
concurrency=4, schedule_interval='@daily'

）

要在Dag中运行多个任务，还必须将执行程序设置为LocalExecutor / CeleryExecutor。