如何更改spark.ui.port？

Question

我正在使用spark-submit并尝试在带有.setExecutorEnv("spark.ui.port", "4050")的jar文件中对spark上下文执行此操作，但它仍然尝试命中4040.然后我尝试在--conf spark.ui.port=4050之后放置spark-submit {1}}之前和--class CLASSNAME之前，但这也不起作用，这一次说“错误：无法识别选项' - conf'”。我该如何解决这个问题？我遇到的实际错误是有一个活跃的火花服务器，其他人正在使用，这阻止了这个spark-submit启动jetty服务器。然后它没有打到其他端口，所以我试图强迫它这样做。

Answer 1

--conf spark.ui.port=4050是Spark 1.1的一项功能。您可以在代码中进行设置，例如：

val conf = new SparkConf().setAppName(s"SimpleApp").set("spark.ui.port", "4050")
val sc = new SparkContext(conf)