气流ExternalTask​​Sensor执行超时

Question

我正在使用airflow.operators.sensors.ExternalTaskSensor让一个Dag等待另一个。

dag = DAG(
    'dag2',
    default_args={
        'owner': 'Me',
        'depends_on_past': False,
        'start_date': start_datetime,
        'email': ['me@example.com'],
        'email_on_failure': True,
        'email_on_retry': False,
        'retries': 2,
        'retry_delay': timedelta(minutes=10),
    },
    template_searchpath="%s/me/resources/" % DAGS_FOLDER,
    schedule_interval="{} {} * * *".format(minute, hour),
    max_active_runs=1
)

wait_for_dag1 = ExternalTaskSensor(
    task_id='wait_for_dag1',
    external_dag_id='dag1',
    external_task_id='dag1_task1',
    dag=dag
)

如果上游Dag发生严重错误并且在给定时间内无法完成，我也希望上游Dag（ExternalTask​​Sensor运算符）崩溃，而不是永远挂掉。

如何向ExternalTask​​Sensor添加超时？

我正在研究文档，但是它似乎没有timeout参数或类似参数。我该怎么办？
https://airflow.readthedocs.io/en/stable/_modules/airflow/sensors/external_task_sensor.html

Answer 1

ExternalTaskSensor确实在几秒钟内接受了timeout自变量。它从BaseSensorOperator（https://airflow.apache.org/_modules/airflow/sensors/base_sensor_operator.html）继承参数。如果您在实例化时通过timeout=60，它将在60秒后失败。