Spark - ByPass临时查看查询Hive

时间:2017-03-16 02:00:33

标签: apache-spark apache-spark-sql spark-dataframe

我正在构建一个自定义应用,我想实现以下目标

if condition x
  Query from Cached Temp View in memory
else 
  Query from Hive directly

我可以通过以下代码

来实现第一种情况
sql = "select * from x"
tableName = "x"
if blah..
  df.createOrReplaceTempView(tableName)
  val result = hc.bi.sql(sql)
else
  // get data from hive directly

ps:视图的名称与hive Metastore中的表名相同

0 个答案:

没有答案