在Airflow中的多个输入上使用单个dag

时间:2018-08-01 23:55:15

标签: amazon-web-services pipeline airflow

我正在尝试在Airflow中实现一个管道,该管道将在许多不同的输入文件上运行多次。我想将这些作业提交给AWS,以便它们可以并行运行。

Airflow可以处理此计划和提交吗? (高效的气流处理方法是什么?)

0 个答案:

没有答案