使用Dataframes实现合并(Scala / Spark)

时间:2017-11-06 21:46:11

标签: apache-spark

我是非常新的火花scala编程。大师,如果我走向错误的方向,请指出正确的方向或纠正。

我正在尝试在scala / spark中实现合并,这本身不支持MERGE。我的目标数据库是HIVE。

Spark版本:2.x

如果有人实施了这样的解决方案,请分享您的思考过程

提前致谢

更新: 正如其中一位成员所要求的那样,合并是什么意思

表:emp(目标) emp_id(主键)emp_name薪水
100 Bob 1000
200 Kelley 2000
300 Ron 1200

表:emp_ext(我们加载数据的源表)
emp_id(主键)emp_name工资 100 Bob 1100(行改变)
200 Kelley 2000(无变化)
300 Ron 1200(无变化)

表格的最终状态 ========================
emp_id(主键)emp_name薪水
100 Bob 1100
200 Kelley 2000
300 Ron 1200

1 个答案:

答案 0 :(得分:0)

也许你想做点什么 this

关于DF与Hive Table的合并。