如何使用火花流读取HIVE外部表

时间:2019-02-06 22:46:28

标签: spark-streaming

我正在尝试使用一个HIVE外部表对火花流数据进行JOIN操作。 但是,当我尝试从配置单元表中加载数据时,找不到表/视图。 但是它存在。 我的问题是我们不能在Spark Streaming中读取蜂巢外部表吗?

以下错误越来越严重

 org.apache.spark.sql.AnalysisException: Table or view not found

以下代码

  rdd1.foreachRDD((rdd, time) => {
 val sqlContext = SQLContextSingleton.getInstance(rdd.sparkContext)
 import sqlContext.implicits._
  val requestsDataFrame = rdd.map(w => Record(w._1, w._2, w._3,w._4, w._5, 
  w._6,w._7, w._8)).toDF()
 requestsDataFrame.createOrReplaceTempView("requests")
 val word_df =sqlContext.sql("select * from  requests ")
 val word_df2 =sqlContext.sql("select * from  area.map ")

  println(s"========= $time =========")
  word_df.show()
 word_df2.count()
 })

有人可以帮助如何在Spark Streaming中读取蜂巢表吗? 我是流媒体世界的新手!

0 个答案:

没有答案