如何运行/重新运行作业AWS Glue工作流的子集？

Question

我正在构建一个由长期运行的工作组成的AWS Glue工作流程，其中许多工作都会失败。发生故障后，有什么方法可以重新运行工作流中的特定分支？

例如，我的工作流程如下：

<Start Trigger> -> [Job 1] -> [Job 2] -> [Job 4]
       ↳ [Job 4]

假设[Job 1]和[Job 4]分别花费3个小时，并且都成功完成。然后[Job 2]被触发但失败，使我的工作流保持这种状态：

<Start Trigger> -> [Job 1 ✔] -> [Job 2 ✗] -> [Job 4]
       ↳ [Job 4 ✔]

我进行了一项修复[Job 2]的更改，并相信它会在重新运行时成功运行。我希望只能重新运行工作流程的[Job 2] -> [Job 4]分支，因为所有其他父级作业均已成功完成。

AWS Glue是否可以完成此操作？我正在考虑尝试将AWS Step Functions workflow of glue jobs构建为Step Functions workflows seem to have this functionality。

Answer 1

此功能自2020年8月起可用。

https://docs.aws.amazon.com/glue/latest/dg/resuming-workflow.html