Question

我知道可以重试单个任务，但是可以重试完整的DAG吗？

我动态创建任务，这就是为什么我需要重试特定任务而不是重试DAG的原因。如果Airflow不支持，则可能有一些解决方法。

Answer 1

如果您有权访问Airflow UI，请转到“图表”视图。

在图形视图中，单个任务被标记为方框，而DAG整体运行以圆圈表示。单击一个圆圈，然后单击clear选项。这将重新启动整个运行。

或者，您可以进入树视图并clear DAG中的第一个任务。

Answer 2

转到Airflow UI，单击DAG的第一个任务，在“清除”按钮右侧，选择“下游”和“递归”，然后按“清除”。这会将DAG标记为“尚未运行”，如果DAG日程安排允许，则将其重新运行

Answer 3

我编写了以下脚本并将其安排在气流大师上，以针对“ dag_ids_to_monitor”数组中提到的DAG重新运行失败的DAG运行

    import subprocess
    import re
    from datetime import datetime
    
    dag_ids_to_monitor = ['dag1','dag2','dag2']
    
    
    
    def runBash(cmd):
        print ("running bash command {}".format(cmd))
        output = subprocess.check_output(cmd.split())
        return output
    
    
    def datetime_valid(dt_str):
        try:
            datetime.strptime(dt_str, '%Y-%m-%dT%H:%M:%S')
            print(dt_str)
            print(datetime.strptime(dt_str, '%Y-%m-%dT%H:%M:%S'))
        except:
            return False
        return True
    
    
    def get_schedules_to_rerun(dag_id):
        bashCommand = "airflow list_dag_runs --state failed {dag_id}".format(dag_id=dag_id)
        output = runBash(bashCommand)
    
        schedules_to_rerun = []
        for line in output.split('\n'):
            parts = re.split("\s*\|\s*", line)
            if len(parts) > 4 and datetime_valid(parts[3][:-6]):
                schedules_to_rerun.append(parts[3])
        return schedules_to_rerun
    
    
    def trigger_runs(dag_id, re_run_start_times):
        for start_time in re_run_start_times:
            runBash("airflow clear --no_confirm --start_date {sd} --end_date {sd} {dag_id}".format(sd=start_time, dag_id=dag_id))
    
    
    def rerun_failed_dag_runs(dag_id):
        re_run_start_times = get_schedules_to_rerun(dag_id)
        trigger_runs(dag_id,re_run_start_times)
    
    
    for dag_id in dag_ids_to_monitor:
        rerun_failed_dag_runs(dag_id)

如何重试完整的Airflow DAG？

3 个答案: