AWS在步骤函数中粘合作业依赖性

时间:2019-01-16 01:55:57

标签: amazon-web-services aws-glue aws-step-functions

我创建了2个胶水作业(gluejob1,glugjob2)。

我想创建一个依赖项,因为胶作业2仅应在胶作业1完成后才能运行。

为此,我创建了一个具有以下定义的step函数:

 {
  "gluejob1": {
    "Type": "Task",
    "Resource": "gluejob1.Arn",
    "Comment": "Glue job1.",
    "Next": "gluejob2"
  },

  "gluejob2": {
    "Type": "Task",
    "Resource": "gluejob2.Arn",
    "Comment": "TGlue job2.",
    "Next": "Gluejob2 Finished Loading"
  },
  "Gluejob2 Finished Loading": {
    "Type": "Pass",
    "Result": "",
    "End": true
  }
}

当我执行此步进功能时,状态函数会在触发Gluejob1 并继续触发胶粘作业2时立即调用成功。

我想知道是否只有在胶粘剂1完成后才可以运行胶粘剂2。

2 个答案:

答案 0 :(得分:3)

您可以invoke Glue job from StepFunction synchronously,使其等待作业完成:

DISTINCT

答案 1 :(得分:0)

为什么不使用胶水中的触发器来处理依赖关系?