使用Spark会话创建Spark上下文相对于新Spark上下文的优势

时间:2018-12-21 17:25:24

标签: scala apache-spark

在Scala中,我看到创建火花上下文的方法有两种:

  1. 在作业运行开始时使用new运算符创建sparkContext:

    val sparkContext:SparkContext =新的SparkContext()

  2. 使用sparkSession创建sparkContext:

    val sparkSession = SparkSession.builder()。getOrCreate() val sparkContext = sparkSession.sparkContext

我主要看到的是,开发人员使用spark会话方式。以这种方式创建上下文有什么特别的优势吗?

0 个答案:

没有答案