当您最初设置新的EMR群集并向群集添加步骤时,它们附加到页面的顺序是自上而下的,这意味着顶部条目首先运行,底部条目最后运行。
当您在正在运行的EMR群集中观察这些步骤的进度时,它们会自下而上运行,这意味着首先运行底部运行,最后运行最后运行。
当我导出用于设置群集的CLI命令并通过DataPipeline运行时,它包含--steps标志,其中包含一系列步骤,首先运行的步骤是数组中的最后一项。
毋庸置疑,对我来说,如何实际执行我正在进行的ETL工作的特定步骤顺序是非常令人困惑的。
有没有办法明确指定这些步骤的顺序?
答案 0 :(得分:1)
它们按照您通过API指定的顺序运行,但出于某种原因,Web控制台在显示它们时会有奇怪的排序。