Question

我最近将气流升级到了1.10.2。 dag中的某些任务运行良好，而某些任务重试的次数超过了指定的重试次数。任务日志之一显示-启动尝试26，共2次。为什么调度程序即使在两次失败后仍对其进行调度？有人遇到类似的问题吗？

Dag示例-

args = {
    'owner': airflow,
    'depends_on_past': False,
    'start_date': datetime(2019, 03, 10, 0, 0, 0),
    'retries':1,
    'retry_delay': timedelta(minutes=2),
    'email': ['my@myorg.com'],
    'email_on_failure': True,
    'email_on_retry': True
}

dag = DAG(dag_id='dag1',
    default_args=args,
    schedule_interval='0 12 * * *',
    max_active_runs=1)

data_processor1 = BashOperator(
    task_id='data_processor1',
    bash_command="sh processor1.sh {{ ds }} ",
    dag=dag)

data_processor2 = BashOperator(
    task_id='data_processor2',
    bash_command="ssh processor2.sh {{ ds }} ",
    dag=dag)

data_processor1.set_downstream(data_processor2)

Answer 1

这可能有用

我尝试生成与气流中相同的错误，但无法生成。

在我的Airflow GUI中，它仅显示一次重试，然后将Task和DAG标记为失败，这是一般的气流行为，我不知道为什么以及如何面对这个问题。

click here to see image screenshot of my airflow GUI for your DAG

能否请您添加有关该问题的更多详细信息（例如日志和全部）。

重试任务的次数多于Airflow中指定的重试次数

1 个答案: