事务处理的功能方法

时间:2018-02-26 01:50:16

标签: scala apache-spark

我需要通过比较2个文件(旧文件与新文件)来创建事务文件。如果密钥在旧文件中而不在新文件中,我必须在记录末尾填充指示符“D”,如果密钥是新文件而不是旧文件,则记录应该得到指示符“A”如果密钥匹配并且剩余记录发生变化,则记录应该得到指示符“C”。 示例数据如下所示。

旧文件:

DemoApplication2

新文件:

Key Value
10000   Apple
20000   Orange
30000   Melon
40000   Berry
50000   Cherry

预期结果:

Key Value
10001   Pear
20002   Pineapple
30000   Melon
40000   Strawberry
50000   SweetCherry

我已经编写了以下程序来实现这一目标。

Key Value   Indicator
10000   Apple   D
20000   Orange  D
10001   Pear    A
20002   Pineapple   A
40000   Strawberry  C
50000   SweetCherry C

我想知道是否有更实用的方法来编写这个程序。

0 个答案:

没有答案