Question

我目前有超过100个DAG在生产中运行。我知道如何使用on_failure_callback和上游故障触发的操作员添加警报，但有没有办法配置Airflow本身，以便在DAG发生故障时始终发送电子邮件而不必更新每一个我的DAG单独警告失败？

Answer 1

据我所知，但我有这个助手来处理我的全局/默认dag /运算符设置：

def on_failure_callback(context):
    ...

def on_success_callback(context):
    ...

def build_default_args(**kwargs):
    default_args = {
        'on_failure_callback': on_failure_callback,
        'on_success_callback': on_success_callback,
        'owner': 'me',
        'queue': 'default',
        'execution_timeout': timedelta(hours=1),
        'retries': 3,
        'retry_delay': timedelta(seconds=10),
    }
    default_args.update(kwargs)
    return default_args

然后在每个DAG中：

dag = DAG(
    dag_id='my_dag',
    default_args=build_default_args(
        start_date=datetime(2017, 9, 20),
        execution_timeout=timedelta(hours=8),  # overrides default
    ),
    schedule_interval='@hourly',
)

或者一些自定义基础DAG类...但无论哪种方式，您仍然需要返回并更改一次100+ DAG。

任何DAG失败的全局警报

1 个答案: