无法在spark streamingContext中设置作业说明?

时间:2017-08-23 18:03:34

标签: spark-streaming

我正在尝试

val sparkConf = new SparkConf().setMaster("local[2]").setAppName("appName")
val sc: SparkContext = new SparkContext(sparkConf)
sc.setJobGroup("jobName", "job description")
val ssc: StreamingContext = new StreamingContext(sc, Seconds(2))

似乎setJobGroup永远不会正常工作。我看到有https://issues.apache.org/jira/browse/SPARK-10649,似乎StreamingContext会覆盖SparkContext中的信息。但是StreamingContext没有提供任何设置Spark作业描述的方法。我想知道有没有办法为Spark流媒体工作定制工作描述?

0 个答案:

没有答案