我有DAG,其中max_active_runs
设置为2,但是现在我要运行20次填充广告。我实际上希望气流能够安排所有回填,但是一次只能开始2次,但这似乎没有发生。当我运行backfill命令时,它会以两个开头,但该命令不会返回,因为它无法成功启动所有命令,而是继续尝试直到成功。
所以我期望的是:
我的经历:
经验丰富的行为使其很难仅启动回填并关闭计算机。那我做错什么了吗?
更新
使用trigger_dag
而不是回填可以达到我想要的效果。使用回填运行时,似乎需要运行该命令才能继续运行,这感觉很奇怪。与trigger_dag
的不同之处在于,它触发了dag,然后让气流对其进行处理。也许与使用gcloud composer environments run <env> --location=<location> backfill -- ...
时执行backfill命令的方式有关?