使用新记录更新HIVE表并根据键更新记录

Question

我正在关注approch -

表WORK.DATA_PERM是可用的和新的，必须更新的数据是这样的形式，如果假设在WORK.DATA_PERM中有100行，而新文件有10条记录，其中9条必须是更新和1个新记录 -

接下来的步骤是 -

1. 创建一个新表WORK.DATA_PTY并将其与表WORK.DATA_PERM的所有记录一起插入。
2. 从上面提到的已收到的文件（10行）中附加此表。
3. 运行以下查询以获取所需数据 -

选择T1.PTY_KEY，T1.PRCS_DT 来自WORK.DATA_PTY T1 INNER JOIN （通过PTY_KEY从WORK.DATA_PTY组中选择PTY_KEY，max（PRCS_DT）为MAX_DATE）T2 在T2.PTY_KEY = T1.PTY_KEY上 和T2.MAX_DATE = T1.PRCS_DT

我们想使用Java Map Reduce来执行此活动吗？请建议approch。谢谢你的回复。

Answer 1

您可以使用Java Map Reduce执行此活动。在java中编写mapper和reducer代码之后，您还可以将它们插入到hive查询中。

您可以看到如何为hive查询here

编写自定义映射器和缩减器

另见this