我的ETL有问题。
我有一个维度表,其中包含一些SCD 1和SCD 2列 - 我已经在SCD转换中正确映射了这些列,分别为Changing Attribute
和Historical Attribute
。
然后在“历史属性选项”页面上,我检查了Use start and end dates to identify current and expired records
,将我的ValidFrom列输入为Start date column
,将ValidTo列输入为End date column
。
据我了解,这应该意味着任何插入的记录都会被赋予当前日期时间值的ValidFrom,并且其ValidTo列仍为NULL
。对于那些已经存在但已经过时的记录,他们的ValidTo将成为当前的日期时间值。
但是,在某些但不是所有导入的记录中 - 插入的最新记录将在ValidFrom和ValidTo记录中插入完全相同的日期时间。 这让我感到非常痛苦,因为我在查询中将该记录视为无效,以及对事实表加载的敲击效果。
任何人都可以帮忙解决这个问题的原因吗?