Question

我正在使用气流1.10.2，但是气流似乎忽略了我为DAG设置的超时时间。

我正在使用 dagrun_timeout 参数设置DAG的超时时间（例如20秒），我有一个需要花费2分钟才能运行的任务，但是气流将DAG标记为成功！

args = {
    'owner': 'me',
    'start_date': airflow.utils.dates.days_ago(2),
    'provide_context': True
}

dag = DAG('test_timeout',
          schedule_interval=None,
          default_args=args,
          dagrun_timeout=timedelta(seconds=20))

def this_passes(**kwargs):
    return

def this_passes_with_delay(**kwargs):
    time.sleep(120)
    return

would_succeed = PythonOperator(task_id='would_succeed',
                               dag=dag,
                               python_callable=this_passes,
                               email=to)

would_succeed_with_delay = PythonOperator(task_id='would_succeed_with_delay',
                            dag=dag,
                            python_callable=this_passes_with_delay,
                            email=to)

would_succeed >> would_succeed_with_delay

没有引发错误消息。我使用的参数不正确吗？

Answer 1

如codesynthesis-xsd中所述：

:param dagrun_timeout: specify how long a DagRun should be up before
    timing out / failing, so that new DagRuns can be created. The timeout
    is only enforced for scheduled DagRuns, and only once the
    # of active DagRuns == max_active_runs.

因此您设置schedule_interval=None时这可能是预期的行为。在这里，其想法是确保预定的DAG不会永远持续下去并阻止后续的运行实例。

现在，您可能会对所有运营商提供的source code感兴趣。例如，您可以像这样在PythonOperator上设置60秒超时：

would_succeed_with_delay = PythonOperator(task_id='would_succeed_with_delay',
                            dag=dag,
                            execution_timout=timedelta(seconds=60),
                            python_callable=this_passes_with_delay,
                            email=to)

如何为Apache Airflow DAG定义超时？

1 个答案: