Question

我有以下带有一些简单任务的DAG，

hour_list = [“0:00”, “1:00", “2:00”]

 for hour in hour_list:
    bash_op = BashOperator(
                task_id=‘task1_op1’+hour
                ,bash_command=“date”
                ,dag=dag
         )


    py_op = PythonOperator(
            task_id='doit’+hour,
            provide_context=True,
            python_callable=python_method,
            dag=dag)

    py_op.set_upstream(bash_op)

现在，我看到dag在0:00到2:00的所有时间内都并行执行。这是预期的行为。但是，我想每隔一个小时跑一次，就像第二个小时的执行取决于第一个小时一样。我不确定设置的任何更改是否可以在这里有所帮助。感谢您的想法。谢谢。

Answer 1

您可以在任务之间使用airflow.operators.sensors.TimeSensor来完成此任务。类似于以下内容：

from datetime import time

from airflow.operators.sensors import TimeSensor

[...]

for hour in ["00:00", "01:00", "02:00"]:
    TimeSensor(
        dag=dag,
        task_id="wait_{}".format(hour),
        target_time=time(*map(int, hour.split(":")))
    ) >> BashOperator(
        dag=dag,
        task_id="task1_op1_{}".format(hour),
        bash_command="date"
    ) >> PythonOperator(
        dag=dag,
        task_id="doit_{}".format(hour),
        provide_context=True,
        python_callable=python_method
    )

迭代气流执行

1 个答案: