Question

我正在尝试查看气流是否适合这种情况。目前，我有一个DAG。这将在s3查找触发文件，创建EMR集群并提交Spark作业，然后删除EMR集群。我的要求是将其转换为按需运行。将有许多用户运行该应用程序的导出。对于每次导出运行，我都必须称其为DAG。这意味着同一个DAG实例将不止一次在同一时间运行。

我知道我们要进行API调用来触发DAG。但是我不确定是否可以同时运行多个DAG实例。谁能有类似的用例？

Answer 1

我正在使用max_active_runs处理此问题

dag = DAG(
    'dev_clickstream_v1',
    max_active_runs=5,
    default_args=DEFAULT_ARGS,
    dagrun_timeout=timedelta(hours=2),
    params=PARAMS
)