我有一个包含6个表的配置单元数据集,我将检索每个表并将其影响到如下数据框:
val hiveObj = new HiveContext(sc)
val df_tables = hiveObj.sql("show tables in dataset").select("tableName").collect()
val v = new Array[String](df_tables.size)
for (i <- 1 until df_tables.size)
val df_table_name : String = "df_"+e
v(i) = df_table_name
for (e <- df_tables) {
val i = df_tables.indexOf(e)
val v(i) = hiveObj.sql("select * from dataset."+ e +" order by event_date")
}
但是此代码无法像我一样