我正在运行一个Spark批处理作业并使用SparkSession
,因为我需要在我的每个组件中处理很多spark-sql功能。
SparkContext
在我的父组件中初始化,并作为SparkSession
传递给子组件。
在我的一个子组件中,我想向我的SparkContext
添加另外两个配置。因此,我需要从SparkContext
检索SparkSession
,停止它并使用其他配置重新创建SparkSession
。为此,我如何从SparkSession中检索SparkContext ?
答案 0 :(得分:19)
只是作为答案发布 - 可以使用spark.sparkContext
从SparkSession访问SparkContext(无括号)
答案 1 :(得分:2)
sparkContext字段似乎不再是公共的(我正在使用Spark 2.3.2),但是,您可以使用相同名称的方法检索它:
spark.sparkContext()