我正在使用以下代码创建动态任务。我想创建对这些动态创建的任务的依赖。例如,runStep_0应该依赖于runStep_1等。
for i in range(4):
task = BashOperator(
task_id='runstep_' + str(i),
bash_command=cmd
dag=dag)
答案 0 :(得分:1)
答案 1 :(得分:0)
类似的问答是here。将任务添加到列表中,然后添加一个简单的衬纸来绑定每个任务之间的依赖关系
a = []
for i in range(0,10):
a.append(DummyOperator(
task_id='Component'+str(i),
dag=dag))
if i not in [0]:
a[i-1] >> a[i]
答案 2 :(得分:0)
在我看来,像 Jorge 提到的那样设置 previous_task 变量是最易读的解决方案,尤其是当您每次迭代有多个任务时。
代码如下:
previous_task = None
for i in range(4):
task = BashOperator(
task_id=f'task-{i}',
bash_command=f'echo {i}',
)
if previous_task is not None:
previous_task >> task
else:
previous_task = task
这里是多任务的例子
previous_task = None
for i in range(4):
task_x = BashOperator(
task_id=f'task_x-{i}',
bash_command=f'echo {i}',
)
task_y = BashOperator(
task_id=f'task_y-{i}',
bash_command=f'echo {i}',
)
task_x >> task_y
if previous_task is not None:
previous_task >> task_x
else:
previous_task = task_y