我们有一个大型的OLTP交易系统。我们想跟踪数据何时具有“开始日期”和“结束日期”。是否有任何Apache Hive,Spark产品以易于查询的形式自动跟踪数据的历史属性?
例如,某人搬离了
移动交易:
City A on 7/12/2009.
City B on 3/4/2014
City C on 9/25/2018.
所以
开始和结束日期: A城市:2009年7月12日至2014年3月4日。 B城市:2014年3月4日至2018年9月25日。 C城市,介于9/25/2018和现在。
答案 0 :(得分:0)
基本上,您将使用Slow Changes Dimension2。Hive通过merge语句使此操作变得容易。
在线上有一些资源,如果有兴趣,我在https://parisni.github.io/weblog/posts/hive-merge/上写了一篇博客文章