标签: airflow amazon-emr
我的目标是用EmrCreateJobFlowOperator和EmrAddStepsOperator安排作业。即,我要创建集群并为从指定日期开始的每个计划的日期(或小时)添加添加步骤。基本上,我希望回填EmrAddStepsOperator,而不希望EmrCreateJobFlowOperator。为此,我可以使用sub-dag概念,其中父dag将禁用追赶,而子dag将启用追赶。我不想为每个步骤创建EMR集群。 这可能吗?还有其他选择吗?
EmrCreateJobFlowOperator
EmrAddStepsOperator