在aws中终止一个火花步骤

时间:2016-01-26 17:28:58

标签: hadoop amazon-web-services apache-spark emr

我想在EMR火花群集上设置一系列火花步骤,如果花费的时间太长,则终止当前步骤。但是,当我进入主节点并运行hadoop jobs -list时,主节点似乎认为没有正在运行的作业。我不想终止群集,因为这样做会迫使我购买我正在运行的任何群集的全新时间。任何人都可以帮我终止EMR的火花步骤而不终止整个群集吗?

2 个答案:

答案 0 :(得分:23)

这很简单:

yarn application -kill [application id]

您可以使用

列出正在运行的应用程序
yarn application -list

答案 1 :(得分:3)

您可以从资源管理器中杀死应用程序(在群集状态下右上角的链接中)。 在资源管理器中,单击要杀死的应用程序,在应用程序页面中有一个小的" kill"标签(左上角),您可以单击以终止该应用程序。

显然你也可以使用SSH,但我认为这对某些用户来说更快更容易。