传感器不会因工作人员故障而重新安排

Question

我正在研究Airflow的来龙去脉，以结束我们所有的Cron困境。当试图模仿（CeleryExecutor）worker s的故障时，我陷入了Sensor s的困境。我正在使用ExternalTaskSensor来将顶级DAG关联在一起，如here所述。

我目前的理解是，自Sensor is just a type of Operator起，它必须继承BaseOperator的基本特征。如果我杀死一个worker（docker container），则所有普通（非Sensor ）在其上运行的task个在其他worker个上重新安排。

---

但是杀死worker时，ExternalTaskSensor不会重新安排在其他worker上；而是卡住了

然后发生以下两种情况之一：

• 我一直等待几分钟，然后有时ExternalTaskSensor被标记为失败，但是工作流恢复（发生了几次，但我没有屏幕截图）
• 我停止所有docker container（包括正在运行scheduler / celery的那些），然后重新启动它们，然后停滞ExternalTaskSensor重新安排时间，工作流程恢复。有时需要docker container的几个停止-启动周期才能使卡住的ExternalTaskSensor重新恢复

Sensor在单个docker container停止启动循环后仍然停留

Sensor在几个docker container停止启动周期后恢复

---

我的问题是：

• docker是否在这种奇怪的行为中起作用？
• 在计划/重试行为方面，Sensor（尤其是ExternalTaskSensor）和其他operator之间是否存在差异？
• 如何确保Sensor上运行的worker也被重新计划？

---

我将puckel/docker-airflow与

一起使用

• Airflow 1.9.0-4
• Python 3.6-slim
• CeleryExecutor与redis:3.2.7

这是我的代码的link。