SPARK_HOME从IntellIj IDEA读取

时间:2018-02-07 21:09:04

标签: apache-spark intellij-idea hive

我知道这可能是一个微不足道的问题,但我坚持了一段时间:)基本上,我从Spark查询Hive表。 Hive的所有连接设置都在hive-site.xml文件中,该文件位于我的Windows PC上的SPARK_HOME / conf目录中。它通过火花壳工作得很好。但是,当我从IntelliJ Idea运行相同时,它将在本地查询Hive,而不是连接到hive-site.xml中定义的远程Metastore。

package main.scala

import org.apache.spark.sql.SparkSession

object Main {

  def main(args: Array[String]) {

    val spark = SparkSession
      .builder()
      .appName("Hive Tables")
      .master("local")
      .enableHiveSupport()
      .getOrCreate()

    import spark.sql
    sql("show tables").show()
  }
}

我为HADOOP_HOME和SPARK_HOME添加了环境变量。正如我所提到的,通过火花壳可以很好地工作。但似乎在IntelliJ Idea中没有读取hive-site.xml。

你有什么想法我可能做错了吗?

由于

0 个答案:

没有答案