从数据框

时间:2017-05-08 03:10:42

标签: apache-spark

我正在创建一个hivecontext而不是sqlcontext来创建adtaframe

val conf=new SparkConf().setMaster("yarn-cluster")
val context=new SparkContext(conf)
//val sqlContext=new SQLContext(context)
val hiveContext=new HiveContext(context)
val data=Seq(1,2,3,4,5,6,7,8,9,10).map(x=>(x.toLong,x+1,x+2.toDouble)).toDF("ts","value","label")
//outdta is a dataframe
data.registerTempTable("df")
//val hiveTest=hiveContext.sql("SELECT * from df where ts < percentile(BIGINT ts, 0.5)")
val ratio1=hiveContext.sql("SELECT percentile_approx(ts, array (0.5,0.7)) from df")

我需要从ratio1获取精确的hive上下文,而不是再次从数据框中的povidedsql上下文创建hivecontext,我不知道为什么spark不会从dataframe给我一个hivecontext,它只是给出了sqlcontext。 / p>

0 个答案:

没有答案