从SparkSession中检索SparkContext

时间:2017-10-10 06:04:30

标签: scala apache-spark

我正在运行一个Spark批处理作业并使用SparkSession,因为我需要在我的每个组件中处理很多spark-sql功能。 SparkContext在我的父组件中初始化,并作为SparkSession传递给子组件。

在我的一个子组件中,我想向我的SparkContext添加另外两个配置。因此,我需要从SparkContext检索SparkSession,停止它并使用其他配置重新创建SparkSession。为此,我如何从SparkSession中检索SparkContext

2 个答案:

答案 0 :(得分:19)

只是作为答案发布 - 可以使用spark.sparkContext从SparkSession访问SparkContext(无括号)

答案 1 :(得分:2)

sparkContext字段似乎不再是公共的(我正在使用Spark 2.3.2),但是,您可以使用相同名称的方法检索它:

spark.sparkContext()