Question

我正在努力连接Hadoop中允许动态数据类型连接的数据。

我需要能够连接到Hive Thrift Server A，提取一些数据，然后连接到Hive Thrift Server B并提取更多数据。

我的理解enableHiveSupport需要在初始SparkSession.builder上设置。事后是否有办法添加/更改节俭连接？

我遇到的唯一可行解决方案是使用newSession():SparkSession，但我不确定这是否是我正在寻找的正确解决方案。

我正在使用Spark 2.1，Hadoop 2.7

Answer 1

根据书 Spark The Definitive Guide ＆＃34;创建[SparkConf]之后，SparkConf对于特定的Spark应用程序是不可变的＆＃34;钱伯斯和扎哈里亚（2018年，第276页）

Answer 2

   val spark = SparkSession.builder()
      .appName("Example")
      .master("local")
      .config("hive.metastore.uris","thrift://B:PortNumber")
      .enableHiveSupport()
      .getOrCreate()

使用enableHiveSupport创建临时SparkSession

2 个答案: