如何在Spark Shell中启用或获取跟踪URL？

Question

当我提供spark-shell或Spark-shell --master纱线时，在控制台上找不到跟踪URL。

说我已更改了执行程序和执行程序内存的数量，我想使用跟踪URL验证这些更改。

如果我知道如何获取此跟踪URL，将会很有帮助

Answer 1

您可以通过编程方式获取SparkUI URL：

val url = spark.sparkContext.uiWebUrl

Answer 2

如果您使用的是纱线，

1. 转到CM中的纱线应用程序。
2. 您将找到列出的Spark Shell。点击您的应用程序
3. 您将找到一个跟踪URL ：ApplicationMaster这是您要查找的URL。 让我知道这是否回答了您的查询。