我们如何在AWS胶水中触发多个作业？

Question

我是AWS胶的新手，任何人都可以解释一下我们如何通过单个作业或通过任何其他方式一起触发多个作业。

Answer 1

要在AWS Glue中触发多个作业，取决于情况/用例。通常，有3种类型的触发作业。

1. 预定-基于Cron。
2. 基于事件-基于事件的触发器，当上一个作业或多个作业满足条件列表时触发。
3. 按需-启动触发器时将触发它。作业完成后，还会触发所有等待完成的触发器，并启动相关的作业。

正如您所提到的，您是aws胶水服务的新手，我建议您仔细阅读aws文档以了解该服务。 您可以在这里找到AWS Glue link。

很少有用例，可能会对您有所帮助。 Usecase 1 Usecase 2

Answer 2

AWS Glue刚发布了一份新的Workflow，可能正是您所需要的。检查文档：AWS Glue : Workflows

Answer 3

您可以使用Lambda函数进行操作。 在Lambda代码中，导入boto3

使用所有胶粘剂名称构建字典。然后在其上循环并逐个传递glugjobname来触发您要触发的所有胶水作业。

{This: 1, is: 2, a: 3, test: 4}

Answer 4

胶水工作流程，胶水触发器将帮助您-

• https://docs.aws.amazon.com/glue/latest/dg/trigger-job.html
• https://docs.aws.amazon.com/glue/latest/dg/workflows_overview.html