多个实例同时运行的按需气流DAG

时间:2019-05-07 19:13:01

标签: airflow airflow-scheduler

我正在尝试查看气流是否适合这种情况。目前,我有一个DAG。这将在s3查找触发文件,创建EMR集群并提交Spark作业,然后删除EMR集群。 我的要求是将其转换为按需运行。将有许多用户运行该应用程序的导出。对于每次导出运行,我都必须称其为DAG。这意味着同一个DAG实例将不止一次在同一时间运行。

我知道我们要进行API调用来触发DAG。但是我不确定是否可以同时运行多个DAG实例。谁能有类似的用例?

1 个答案:

答案 0 :(得分:0)

我正在使用max_active_runs处理此问题

dag = DAG(
    'dev_clickstream_v1',
    max_active_runs=5,
    default_args=DEFAULT_ARGS,
    dagrun_timeout=timedelta(hours=2),
    params=PARAMS
)