EMR步骤顺序

时间:2016-10-15 15:59:39

标签: amazon-web-services amazon-emr amazon-data-pipeline

当您最初设置新的EMR群集并向群集添加步骤时,它们附加到页面的顺序是自上而下的,这意味着顶部条目首先运行,底部条目最后运行。

当您在正在运行的EMR群集中观察这些步骤的进度时,它们会自下而上运行,这意味着首先运行底部运行,最后运行最后运行。

当我导出用于设置群集的CLI命令并通过DataPipeline运行时,它包含--steps标志,其中包含一系列步骤,首先运行的步骤是数组中的最后一项。

毋庸置疑,对我来说,如何实际执行我正在进行的ETL工作的特定步骤顺序是非常令人困惑的。

有没有办法明确指定这些步骤的顺序?

1 个答案:

答案 0 :(得分:1)

它们按照您通过API指定的顺序运行,但出于某种原因,Web控制台在显示它们时会有奇怪的排序。