Question

在Spark 1.6中，在创建新的SparkEnv对象后会自动创建SparkContext。

在Spark 2.0中，引入了SparkSession作为Spark SQL的入口点。

在Spark 2中创建SparkSession后会自动创建SparkEnv吗？

Answer 1

是的，SparkEnv，SparkConf和SparkContext都是在创建SparkSession时自动创建的（这就是为什么Spark SQL中的相应代码更高级且有希望的原因不容易出错）。

SparkEnv是Spark运行时基础结构的一部分，在使用Spark SQL（或Spark MLlib）中的高级API之前，需要启动并运行所有Spark Core的低级服务。这里没有任何改变。

scala> :type spark
org.apache.spark.sql.SparkSession

scala> spark.sparkContext
res1: org.apache.spark.SparkContext = org.apache.spark.SparkContext@1e86506c

在Spark 2中创建SparkSession后是否创建了SparkEnv？

1 个答案: