如何运行一个气流任务及其所有依赖项？

Question

我怀疑

airflow run dag_id task_id execution_date

会运行所有上游任务，但事实并非如此。当它看到并非所有依赖任务都运行时，它将失败。如何运行特定任务及其所有依赖项？我猜这是不可能的，因为气流设计的决定，但是有办法解决这个问题吗？

Answer 1

您可以使用-i / -I / -A标志和run命令独立运行任务。

但是，气流设计不允许运行特定任务及其所有依赖项。

您可以通过从DAG中删除不相关的任务来回填dag以进行测试

Answer 2

一些解决方法，但是如果您始终给定任务task_id-s，则可以尝试通过Airflow CLI（命令行界面）进行回填：

airflow backfill -t TASK_REGEX ... dag_id

其中TASK_REGEX对应于您要重新运行的任务的命名模式及其依赖性。

（记住添加the command line options的其余部分，例如--start_date）。