spark-shell或Zepellin笔记本如何将HiveContext设置为SparkSession？

Question

有谁知道为什么我可以从spark-shell或zepelling笔记本访问现有的hive表来执行此操作

val df = spark.sql("select * from hive_table") 

但是当我提交一个带有以这种方式创建的火花对象的火花罐时，

     val spark = SparkSession
    .builder()
    .appName("Yet another spark app")
    .config("spark.sql.shuffle.partitions", 18)
    .config("spark.executor.memory", "2g")
    .config("spark.serializer","org.apache.spark.serializer.KryoSerializer")
    .getOrCreate()

我得到了这个

  

未找到表格或视图

我真正想要的是学习，理解shell和笔记本为我们做些什么，以便为SparkSession提供hive上下文。

Answer 1

  

使用Hive时，必须使用Hive支持实例化SparkSession

您需要在会话构建器

上调用enableHiveSupport()