在BranchPythonOperator或ShortCircuitOperator之后，Airflow DAG不会跳过任务

Question

我正在编写一个带有BranchPythonOperator的DAG来检查数据是否可供下载。如果有数据，DAG应下载并将其合并到我的PostgreSQL数据库中。如果不存在，则应跳过所有处理任务，并且分支应转到DummyOperator。不幸的是，DAG没有跳过所有任务。它将跳过最多6个任务，但随后停止（下游任务具有未知状态）并且DAG失败。我没有在日志中找到任何错误消息（因为任务没有失败）。

Airflow版本1.8.1。我在下面附上了一些截图。在以下DAG示例中，我将敏感文件信息替换为“XXXXX”。我也尝试过ShortCircuitOperator，但只是让它直接跳过SCO下游的任务。

谢谢！

%USERPROFILE%\.gradle\init.gradle

附带的屏幕截图显示了Airflow用户界面上的树状视图，我试图解决某些任务没有使其失败的问题。

DAG tasks not skipping

DAG tasks

Answer 1

我相信你遇到了AIRFLOW-1296中描述的同一问题。在Airflow 1.8.2中对它进行了修复，所以我会升级并查看是否可以重现它。它对我有用，但正如评论中所见，有一些混合结果。