我正在尝试使用一个HIVE外部表对火花流数据进行JOIN操作。 但是,当我尝试从配置单元表中加载数据时,找不到表/视图。 但是它存在。 我的问题是我们不能在Spark Streaming中读取蜂巢外部表吗?
以下错误越来越严重
org.apache.spark.sql.AnalysisException: Table or view not found
以下代码
rdd1.foreachRDD((rdd, time) => {
val sqlContext = SQLContextSingleton.getInstance(rdd.sparkContext)
import sqlContext.implicits._
val requestsDataFrame = rdd.map(w => Record(w._1, w._2, w._3,w._4, w._5,
w._6,w._7, w._8)).toDF()
requestsDataFrame.createOrReplaceTempView("requests")
val word_df =sqlContext.sql("select * from requests ")
val word_df2 =sqlContext.sql("select * from area.map ")
println(s"========= $time =========")
word_df.show()
word_df2.count()
})
有人可以帮助如何在Spark Streaming中读取蜂巢表吗? 我是流媒体世界的新手!