我们已经设置了一个在任务失败时触发的回调,该回调会发送一条松弛消息。此外,已启用“ email_on_failure”选项,以在失败时发送电子邮件。但是,在许多情况下,我们发现DAGS在UI中被标记为失败,但是没有通过松弛或电子邮件报告错误。这是我们设置DAG的方法:
default_args = {
"owner": "Test",
"depends_on_past": True,
"wait_for_downstream": True,
"start_date": datetime(2019, 5, 8),
"email": ["a@a.com"],
"email_on_failure": True,
"email_on_retry": False,
"retries": 1,
'on_failure_callback': task_fail_slack_alert,
"retry_delay": timedelta(minutes=5),}
mydag = DAG(dag_id='test_etl',
default_args=default_args,
schedule_interval='05 7 * * *',
max_active_runs=1,
dagrun_timeout=timedelta(hours=6),
params={})
我怀疑这是在任务完成或进行中但DAG超时时发生的。我想知道是否还有其他人看到过这个问题。