我一直致力于SAS ETL项目,我们在每个月初从teradata仓库中提取上个月的数据,然后进一步处理。
这是通过每个表的提取脚本完成的,然后将数据存储到每月文件夹结构(yyyymm)中。以这种方式工作了几个月后,我们现在开始收到产品每日,每周等产品的请求。 当前数据存储文件夹结构为:
一个库中的Library / Data / YYYYMM文件夹。
我必须更改结构(对当前结构的影响最小)以适应不同的时间范围请求,如每日,每周,每两周,每季度等。
我想到了两个选项:在当前结构(每月文件夹)中,添加
文件夹。
选项2: 在数据库下创建文件夹,如
在每个文件夹中存在具有当前日期/月/季度的单个文件夹。
任何人都可以建议其他更实用的设计方法吗?
答案 0 :(得分:0)
也许SAS生成数据集是一个选项:http://support.sas.com/documentation/cdl/en/lrcon/62955/HTML/default/viewer.htm#a000934566.htm
这是SAS的摘录:
生成数据集是SAS数据集的存档版本,存储为生成组的一部分。每次替换文件时都会创建生成数据集。生成组中的每个生成数据集具有相同的根成员名称,但每个都具有不同的版本号。最新版本的生成数据集称为基本版本。