AWS采取并行状态来协调EMR作业

时间:2020-10-09 19:16:43

标签: amazon-emr aws-step-functions

我们正在使用AWS步骤来编排数据管道,并且确实需要并行运行EMR作业。 我尝试使用地图状态,它按预期工作。 Map的唯一问题是,如果一个步骤失败了,它也会取消所有其他步骤。为了解决这个问题,我在考虑是否可以创建一系列步骤并将其动态传递到并行状态分支,但是我无法做到这一点不接受字符串。 有没有解决方法,还是我们只能在并行状态下硬编码分支?在这种情况下,States.Array()在某种程度上可以有所帮助吗?

2 个答案:

答案 0 :(得分:0)

将内部状态机包装为一分支并行状态,并向其中添加错误/重试策略。基本上,您希望捕获所有错误并确保迭代始终成功。

答案 1 :(得分:0)

仅适用于试图为上述问题寻求解决方案的人。根据Pooya的建议,我确实在Map内的任务内部使用了catch块,而不是将其保持在map级别。状态机看起来像this