Question

在顺序执行程序下，我有一个DAG文件，我指定了三个需要顺序运行的任务（t1 - ＆gt; t2 - ＆gt; t3）：

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2017, 6, 14, 23 , 20),
    'email_on_failure': False,
    'email_on_retry': False,
    }

dag = DAG('test_dag', default_args=default_args, schedule_interval="*/5 * * * *")

t1 = BashOperator(
    task_id='form_dataset',
    bash_command='python 1.py',
    dag=dag)

t2 = BashOperator(
    task_id='form_features',
    bash_command='python 2.py',
    depends_on_past=True,
    dag=dag)

t3 = BashOperator(
    task_id='train',
    bash_command='python 3.py',
    depends_on_past=True,
    dag=dag)

t2.set_upstream(t1)
t3.set_upstream(t2)
t4.set_upstream(t3)

我假设顺序行为t1 - > t2 - > t3是默认行为，认为在我的情况下并非如此（顺序几乎是随机的，例如t1 - ＆gt; ; T2 - ＆GT; T2 - ＆GT; T1 - ＆GT; T3）。我错过了什么样的论证可以纠正这种行为？

Answer 1

您需要添加声明

t1 >> t2 >> t3

在文件的末尾。有关详细信息，请访问以下链接： https://airflow.incubator.apache.org/concepts.html#bitshift-composition

为了完整性，您还可以使用set_upstream（）或set_downstream（）方法完成任务。

确保顺序运行任务（Apache Airflow）

1 个答案: