Spark History Server ....正在运行的作业列表

时间:2016-03-20 18:24:52

标签: apache-spark

我正在使用Cloudera 5.4.1和Spark 1.3.0。当我去火花历史服务器时,我可以看到已完成作业的列表和未完成的作业列表。

然而,许多被列为不完整的工作是被杀害的工作。

那么如何看待“正在运行”的工作列表呢?不是被杀的人。

如何通过从历史服务器获取应用程序ID来杀死正在运行的spark作业?

1 个答案:

答案 0 :(得分:1)

以下内容来自Cloudera文档:

要访问正在运行的Spark应用程序的Web应用程序UI,请在Web浏览器中打开http://spark_driver_host:4040。如果多个应用程序在同一主机上运行,​​则Web应用程序将绑定到以4040(4041、4042等)开头的连续端口。该Web应用程序仅在应用程序期间有效。

For 5.4x For 5.9x

回答第二个问题: 您可以使用yarn CLI终止Spark应用程序。 例如:yarn application -kill <application ID>