我们正在使用AWS步骤来编排数据管道,并且确实需要并行运行EMR作业。 我尝试使用地图状态,它按预期工作。 Map的唯一问题是,如果一个步骤失败了,它也会取消所有其他步骤。为了解决这个问题,我在考虑是否可以创建一系列步骤并将其动态传递到并行状态的分支,但是我无法做到这一点不接受字符串。 有没有解决方法,还是我们只能在并行状态下硬编码分支?在这种情况下,States.Array()在某种程度上可以有所帮助吗?
答案 0 :(得分:0)
将内部状态机包装为一分支并行状态,并向其中添加错误/重试策略。基本上,您希望捕获所有错误并确保迭代始终成功。
答案 1 :(得分:0)
仅适用于试图为上述问题寻求解决方案的人。根据Pooya的建议,我确实在Map内的任务内部使用了catch块,而不是将其保持在map级别。状态机看起来像this