标签: airflow airflow-scheduler
在学习和学习了Airflow的基础知识之后,我仍然不知道如何基于输入对数据进行并行批处理。
例如,我有很多任务:
task1 >> task2 >> task3
我必须为task1输入 id 才能开始。现在,我将如何使用不同的ID 来运行相同的任务1?
还处理完所有批次的id后,如何停止系统?
我将使用PythonOperator来完成所有任务。