标签： mapreduce hive hiveql
所以我有一个在表中插入新记录的任务。
将所有这些历史记录与新记录进行比较，并将匹配项存储在不同的表中。 现在有一个问题是，当数据量巨大时，它会出现不成比例的问题。 每个新计算都需要更长的时间。
我无法缓存历史记录，因为它们可能会在一段时间后过期并变得过时。
比较任务相当复杂，因此它在java代码中。 我不想写一个地图减少工作来做这件事。
有没有办法可以使用配置单元来完成我的任务