我是非常新的火花scala编程。大师,如果我走向错误的方向,请指出正确的方向或纠正。
我正在尝试在scala / spark中实现合并,这本身不支持MERGE。我的目标数据库是HIVE。
Spark版本:2.x
如果有人实施了这样的解决方案,请分享您的思考过程
提前致谢
更新: 正如其中一位成员所要求的那样,合并是什么意思
表:emp(目标)
emp_id(主键)emp_name薪水
100 Bob 1000
200 Kelley 2000
300 Ron 1200
表:emp_ext(我们加载数据的源表)
emp_id(主键)emp_name工资
100 Bob 1100(行改变)
200 Kelley 2000(无变化)
300 Ron 1200(无变化)
表格的最终状态
========================
emp_id(主键)emp_name薪水
100 Bob 1100
200 Kelley 2000
300 Ron 1200