Question

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate()

当我使用spark-shell来执行spark-sql查询Hive表时，如何从Hive中读取和写入数据？是通过JDBC还是别的？

Answer 1

如果您要查看# Target label used for training labels = np.array(data[label], dtype=np.int64) # Reshape target label from (6605,) to (6605, 1) labels = tf.reshape(labels, shape=[-1, 1]) # Data for training minus the target label. data = np.array(data.drop(label, axis=1), dtype=np.int64) sourcecode。 spark未使用Spark与jdbc的关联。它使用hive。

Hivemetastore

除了def newSession(): SparkSession = { new SparkSession(sparkContext, Some(sharedState), parentSessionState = None, extensions)}之外，所有共享状态都是懒惰地初始化。 此方法将强制初始化共享状态，以确保使用相同的共享状态设置父会话和子会话。如果底层目录实现是Hive，这将初始化Metastore，这可能需要一些时间

评论来源SparkSession.scala

如何从Hive中读取和写入数据？

1 个答案: