我想将源(配置单元)表数据插入到目标(配置单元)表中,但此处的源列较少。如何从源中插入适当的列值,其他列值将为“ NULL”
我试图获取源列和目标列并获得差异(extra_columns)。
var sqlContext =新的org.apache.spark.sql.hive.HiveContext(sc)
var df1 = sqlContext.sql("SELECT * FROM btr_Dev_landing.test_cfmr")
var src_col = df1.columns
var df2 = sqlContext.sql("SELECT * FROM btr_dev_landing.tra_detail_Report")
var tgt_col = df2.columns
var diff = src_col.toSet - tgt_col.toSet
var extra_col = diff.toList
我想形成“插入表target_table(col1,col2,...,coln)值(sourceVal1,“ null”(不在targetTable中),..,sourceValn);“