标签: airflow amazon-emr directed-acyclic-graphs
通过Terraform,我们正在不同环境中扩展EMR集群。这些EMR群集具有运行spark-submit命令的功能。 我的任务是Airflow如何识别EMR主机并执行开发人员在其中创建的Dag。
spark-submit