如何节流气流中的当前作业?

时间:2016-11-01 21:50:31

标签: concurrency throttling optimistic-concurrency airflow database-concurrency

我是Airflow的新手。但我现在正在研究如何限制Airflow中的当前工作。是否有人对Airflow中的并发或限制有所了解。任何建议都可能有所帮助。 非常感谢。

1 个答案:

答案 0 :(得分:2)

如果你想在dag中限制任务,你需要定义它的"并发"参数。

  

"并发"定义允许DAG运行的任务实例的数量   事情已经排好了。

如果要全局限制任务,请查看配置文件的这一行

  

作为执行者设置的并行度。这定义了   应同时运行的最大任务实例数   在这个气流装置上

     

parallelism = 32

  

允许由调度程序同时运行的任务实例数

     

dag_concurrency = 16

第一个是全局的,第二个是所有dags的并发默认值