没有报告DAG故障

时间:2019-07-31 17:10:42

标签: etl airflow airflow-scheduler

我们已经设置了一个在任务失败时触发的回调,该回调会发送一条松弛消息。此外,已启用“ email_on_failure”选项,以在失败时发送电子邮件。但是,在许多情况下,我们发现DAGS在UI中被标记为失败,但是没有通过松弛或电子邮件报告错误。这是我们设置DAG的方法:

default_args = {
"owner": "Test",
"depends_on_past": True,
"wait_for_downstream": True,
"start_date": datetime(2019, 5, 8),
"email": ["a@a.com"],
"email_on_failure": True,
"email_on_retry": False,
"retries": 1,
'on_failure_callback': task_fail_slack_alert,
"retry_delay": timedelta(minutes=5),}

mydag = DAG(dag_id='test_etl',
             default_args=default_args,
             schedule_interval='05 7 * * *',
             max_active_runs=1,
             dagrun_timeout=timedelta(hours=6),
             params={})

我怀疑这是在任务完成或进行中但DAG超时时发生的。我想知道是否还有其他人看到过这个问题。

0 个答案:

没有答案