Wann通过Scala将源(hive)数据插入目标中,此处源列小于目标列

时间:2019-07-30 11:02:08

标签: apache-spark hadoop hive

我想将源(配置单元)表数据插入到目标(配置单元)表中,但此处的源列较少。如何从源中插入适当的列值,其他列值将为“ NULL”

我试图获取源列和目标列并获得差异(extra_columns)。

var sqlContext =新的org.apache.spark.sql.hive.HiveContext(sc)

var df1 = sqlContext.sql("SELECT * FROM btr_Dev_landing.test_cfmr") 


var src_col = df1.columns


var df2 = sqlContext.sql("SELECT * FROM btr_dev_landing.tra_detail_Report")

var tgt_col = df2.columns

var diff = src_col.toSet - tgt_col.toSet
var extra_col = diff.toList

我想形成“插入表target_table(col1,col2,...,coln)值(sourceVal1,“ null”(不在targetTable中),..,sourceValn);“

0 个答案:

没有答案