气流-在DAG内部旋转工人

时间:2020-03-06 19:11:25

标签: airflow airflow-scheduler

我试图让气流完成以下简单任务:

  1. 启动气流工作人员(例如EC2实例)
  2. 与芹菜执行者一起对工人执行一些DAG任务
  3. 解雇工人

任务1和3是boto3脚本,应该在主服务器上本地运行并管理工作程序节点,而任务2当然需要在工作程序上运行。有什么办法可以将本地执行者与芹菜执行者结合起来?看来调度程序只允许一个执行程序。还是有其他设置可以在气流内部起作用? 一种解决方法是将任务1和3放在本地cron作业中。但这太丑了。

0 个答案:

没有答案