我可以动态更改SparkContext.appName吗？

Question

我知道我可以在创建appName之前使用SparkConf.set('spark.app.name',...)设置SparkContext 。

但是，我希望在进展时更改应用程序的名称，即在创建SparkContext之后。

唉，设置sc.appName并不会改变yarn application -list显示作业的方式。

有办法吗？

Answer 1

这是不可能的：只有在使用SparkConf实例来实现SparkContext之前，才会考虑sparkConf的任何更新，包括spark.app.name：

  

请注意，一旦SparkConf对象传递给Spark，它就会被克隆，用户不能再修改它。 Spark不支持在运行时修改配置。

https://spark.apache.org/docs/1.3.1/api/scala/index.html#org.apache.spark.SparkConf