我知道这可能是一个微不足道的问题,但我坚持了一段时间:)基本上,我从Spark查询Hive表。 Hive的所有连接设置都在hive-site.xml文件中,该文件位于我的Windows PC上的SPARK_HOME / conf目录中。它通过火花壳工作得很好。但是,当我从IntelliJ Idea运行相同时,它将在本地查询Hive,而不是连接到hive-site.xml中定义的远程Metastore。
package main.scala
import org.apache.spark.sql.SparkSession
object Main {
def main(args: Array[String]) {
val spark = SparkSession
.builder()
.appName("Hive Tables")
.master("local")
.enableHiveSupport()
.getOrCreate()
import spark.sql
sql("show tables").show()
}
}
我为HADOOP_HOME和SPARK_HOME添加了环境变量。正如我所提到的,通过火花壳可以很好地工作。但似乎在IntelliJ Idea中没有读取hive-site.xml。
你有什么想法我可能做错了吗?
由于