如果计划时间间隔小于v1.10.2的Airflow.cfg中的min_file_process_interval值,则不会按照其计划收取Dags

时间:2019-05-14 19:12:54

标签: airflow airflow-scheduler

在airflow.cfg文件中,我将min_file_process_interval值配置为120秒。该dag具有计划间隔,每分钟运行一次。 但是,仅在每120秒之后(根据min_file_process_interval值)进行调度。这是预期的吗?

我将min_file_process_interval更改为200秒,然后在200秒后开始获取dag计划。 为了澄清起见,如果情况相反,即dag调度间隔为2分钟,min_file_process_interval为1分钟,则dag将按照其调度运行良好。 以下是我的爸爸:

<nixpkgs>

1 个答案:

答案 0 :(得分:0)

每气流documents

  

在只有少量DAG定义文件的情况下,循环可能会在一分钟内多次处理DAG定义文件。要控制DAG文件处理的速度,可以将min_file_process_interval设置为更高的值。此参数可确保DAG定义文件的处理频率不超过每min_file_process_interval秒一次。

这意味着气流将每min_file_process_interval秒进行处理。因此,您应该将DAG计划时间间隔设置为min_file_process_interval的倍数。