在Spark2 Scala中找不到Hive表

Question

我具有以下功能：

def getMet(spark: SparkSession): DataFrame = {
  val spark = SparkSession.builder().appName("AB Test").enableHiveSupport().getOrCreate()

  val dfMet = spark.sql(s"""SELECT
  10,
  cod_entrep as ID_ENTITE,
  cod_entrep_assu as ID_ENTITE_GARANTE,
  id_notification,
  objet_metier as REF_EXT_OBJET_METIER,
  case when typ_mvt = "S" then 1 else 0 end as TOP_SUPP,
  case when typ_mvt = "S" then dt_capt else null end as DT_SUPP
  FROM dev_lkr_send.pz_send_notification""")
  }

哪个返回

  

捕获到的异常：org.apache.spark.sql.AnalysisException：表或   找不到视图：pz_send_notification;第10行pos 0

该表存在于Impala中，并且可以在 spark2-shell 上执行相同的步骤。

有帮助吗？

Answer 1

我刚刚找到了解决方案，我必须在执行命令中使用-files 选项指示 hive-site.xml 文件。