使用数据框遍历配置单元数据集表

时间:2018-07-26 13:25:19

标签: scala apache-spark apache-spark-sql

我有一个包含6个表的配置单元数据集,我将检索每个表并将其影响到如下数据框:

val hiveObj = new HiveContext(sc)
val df_tables = hiveObj.sql("show tables in dataset").select("tableName").collect()

val v = new Array[String](df_tables.size)

for (i <- 1 until df_tables.size)
    val df_table_name : String = "df_"+e
    v(i) = df_table_name

for (e <- df_tables) {
    val i = df_tables.indexOf(e)
    val v(i) = hiveObj.sql("select * from dataset."+ e +" order by event_date")
}

但是此代码无法像我一样

0 个答案:

没有答案