与hivecontext的Spark会话

Question

我尝试将Sparksession与hive表一起使用。我使用了以下代码，     val spark = SparkSession.builder（）。appName（“spark”）。master（“local”）。enableHiveSupport（）。getOrCreate（） spark.sql（“select * from data”）。show（）

显示未找到的表，但该表存在于配置单元中。请帮帮我。

Answer 1

你好，你必须提供仓库的路径，如：

// warehouseLocation points to the default location for managed databases and tables
val warehouseLocation = new File("spark-warehouse").getAbsolutePath

val spark = SparkSession
  .builder()
  .appName("Spark Hive Example")
  .config("spark.sql.warehouse.dir", warehouseLocation)
  .enableHiveSupport()
  .getOrCreate()

有关详细信息，请参阅此处：Hive Tables with Spark