Apache产品中的尺寸变化缓慢

时间:2019-04-29 11:24:57

标签: apache apache-spark hive data-warehouse data-lake

我们有一个大型的OLTP交易系统。我们想跟踪数据何时具有“开始日期”和“结束日期”。是否有任何Apache Hive,Spark产品以易于查询的形式自动跟踪数据的历史属性?

例如,某人搬离了

移动交易:

 City A on 7/12/2009.
 City B on 3/4/2014
 City C on 9/25/2018.

所以

开始和结束日期:     A城市:2009年7月12日至2014年3月4日。     B城市:2014年3月4日至2018年9月25日。     C城市,介于9/25/2018和现在。

1 个答案:

答案 0 :(得分:0)

基本上,您将使用Slow Changes Dimension2。Hive通过merge语句使此操作变得容易。

在线上有一些资源,如果有兴趣,我在https://parisni.github.io/weblog/posts/hive-merge/上写了一篇博客文章