我有8个不同的表,每个表有2400万到4000万条记录。这些表之一是主表,用于联接其他7。
我的问题是,在处理如此大的数据集时,使用哈希合并是否可行?我尝试了一种在线学习的哈希技术,但是系统在加载主表本身时内存不足。
在SAS中还有其他有效的方法来合并大数据集吗?
此外,任何人都可以通过片段将这些表合并在一起来帮助我。它们都基于不同的属性与主表合并。
注意:在每种情况下,合并都是多对一的
答案 0 :(得分:0)
在这些数据上创建索引。 或将主表分成较小的块,对每个块进行Proc SQL,然后将它们合并。