我们正在使用SSIS构建仓库。
我正在进行聚合,我收到了以下消息
Aggregate转换遇到了2000037个组合键。它必须重新哈希数据,因为键组合的数量超过预期。可以通过调整Keys,KeyScale和AutoExtendFactor属性来配置组件以避免数据重新哈希
它没有写输出,最令人不安,它确实不抛出任何异常。
这里发生了什么?我该如何解决这个问题?
答案 0 :(得分:2)
组合键是数据流中的组数。将KeysScale(任务的高级属性)值设置为数字> 2000037.尽量猜测尽可能接近,以便转换可以分配足够的内存来执行聚合。
我会尽可能避免使用这种转换。它不仅占用大量内存,而且在完成之前它会占用整个数据流任务。
数据来自哪里?如果是关系数据库,请将group by,order by和任何聚合移动到数据库查询。