工作流是否可以使用不同的参数多次运行同一作业?

时间:2020-09-18 10:06:00

标签: amazon-web-services pyspark aws-glue

我是亚马逊的aws-glue的新手,但我仍在努力弄清楚。

当前,我有一个python shell胶作业,每次执行它时,我都会更改作业参数。

我正在查看工作流程,并设法通过那里解析参数并设置了每天运行的触发器。

我的问题是:

工作流是否可以创建实例并使用不同的参数并发执行同一作业? 创建多个工作流是唯一的方法吗?

1 个答案:

答案 0 :(得分:0)

我想您是通过触发器正确完成的。就是这样做。您可以参数化Glue Job(底层Python代码)并创建使用相同Glue Job但参数不同的多个触发器。 (您可以选择在触发器中传递作业参数)。

“工作流是否有办法创建实例并用不同的参数并发执行同一作业?创建多个工作流是唯一的方法吗?” -我尝试了这种方法,但没有找到任何出路。