我是Airflow的新手。但我现在正在研究如何限制Airflow中的当前工作。是否有人对Airflow中的并发或限制有所了解。任何建议都可能有所帮助。 非常感谢。
答案 0 :(得分:2)
如果你想在dag中限制任务,你需要定义它的"并发"参数。
"并发"定义允许DAG运行的任务实例的数量 事情已经排好了。
如果要全局限制任务,请查看配置文件的这一行
作为执行者设置的并行度。这定义了 应同时运行的最大任务实例数 在这个气流装置上
parallelism = 32
和
允许由调度程序同时运行的任务实例数
dag_concurrency = 16
第一个是全局的,第二个是所有dags的并发默认值