我是亚马逊的aws-glue的新手,但我仍在努力弄清楚。
当前,我有一个python shell胶作业,每次执行它时,我都会更改作业参数。
我正在查看工作流程,并设法通过那里解析参数并设置了每天运行的触发器。
我的问题是:
工作流是否可以创建实例并使用不同的参数并发执行同一作业? 创建多个工作流是唯一的方法吗?
答案 0 :(得分:0)
我想您是通过触发器正确完成的。就是这样做。您可以参数化Glue Job(底层Python代码)并创建使用相同Glue Job但参数不同的多个触发器。 (您可以选择在触发器中传递作业参数)。
“工作流是否有办法创建实例并用不同的参数并发执行同一作业?创建多个工作流是唯一的方法吗?” -我尝试了这种方法,但没有找到任何出路。