我正在尝试
val sparkConf = new SparkConf().setMaster("local[2]").setAppName("appName")
val sc: SparkContext = new SparkContext(sparkConf)
sc.setJobGroup("jobName", "job description")
val ssc: StreamingContext = new StreamingContext(sc, Seconds(2))
似乎setJobGroup永远不会正常工作。我看到有https://issues.apache.org/jira/browse/SPARK-10649,似乎StreamingContext
会覆盖SparkContext
中的信息。但是StreamingContext
没有提供任何设置Spark作业描述的方法。我想知道有没有办法为Spark流媒体工作定制工作描述?