如何排队补给气流?

时间:2018-12-21 12:32:04

标签: airflow google-cloud-composer

我有DAG,其中max_active_runs设置为2,但是现在我要运行20次填充广告。我实际上希望气流能够安排所有回填,但是一次只能开始2次,但这似乎没有发生。当我运行backfill命令时,它会以两个开头,但该命令不会返回,因为它无法成功启动所有命令,而是继续尝试直到成功。

所以我期望的是:

  1. 我运行了回填命令
  2. 所有运行都标记为正在运行
  3. 命令返回,因为现在应该安排一切
  4. 两个运行开始

我的经历:

  1. 我运行了回填命令
  2. 将两次运行标记为正在运行并开始
  3. 命令无法返回,因为它无法启动其余命令

经验丰富的行为使其很难仅启动回填并关闭计算机。那我做错什么了吗?

更新 使用trigger_dag而不是回填可以达到我想要的效果。使用回填运行时,似乎需要运行该命令才能继续运行,这感觉很奇怪。与trigger_dag的不同之处在于,它触发了dag,然后让气流对其进行处理。也许与使用gcloud composer environments run <env> --location=<location> backfill -- ...时执行backfill命令的方式有关?

0 个答案:

没有答案