Question

假设我有一个深层的并发兼容路径：

   B3 <-- B2 <-- B1 <-- B0 
  / 
C 
  \
   A3 <-- A2 <-- A1 <-- A0

以上每个路径都可以同时解决的地方。但是，如果上述分支之一发生故障（例如，如果B0, A0是传感器，并且B0仍在等待时true的值为A0，则其余的B分支仍应执行。

但是，尽管我能够获得任务并发性，但整个任务仍停留在B0, A0任务上，而不是在B0等待时沿着A0路径前进。

我如何配置气流沿每个路径前进，而不是如果一个分支被阻塞而无法执行任务？

还是唯一的创建许多mini-dag的解决方案？与垂直执行相比，执行者似乎只支持在一个级别的节点上并行化-即它仅执行广度计算。

Answer 1

起初，由于命名约定，这有点技巧：

// I am using the following convention: filename(variable name or description)

// conceptually, 
C = airflow.cfg(dag_concurrency) * dag.py(dag concurrency for tasks)
C <= airflow.cfg(parallelism)

气流：关于dag路径的并发

1 个答案: