我为SSIS中的复杂转换做了概念验证。我现在为我在虚拟机中创建的POC提供了性能指标,分配了1个内存,1个内核。 SSIS转换都是基于文件的(源和目标)。
现在,我想使用此指标在生产环境中选择适当数量的内核和内存。
如果我知道每天的文件数量和每天要转换的文件大小总量,那么确定适合生产的内核和内存量的正确策略是什么?
(编辑)考虑每天100千兆字节和5000个文件的总传输大小!
答案 0 :(得分:1)
你想要做另外两个基准测试:2 GB内存,1个内核和1 GB内存,双核。拍摄一个相当微小环境的快照很难在没有更多数据点的情况下进行推断。
此外,只有1GB内存,你还需要确保服务器内存不足和磁盘分页(由于一切都依赖于磁盘访问,这会使你的数字有所偏差 - 并给你'无论如何已经从磁盘读取...)。所以一定要知道那里发生了什么。
SSIS尝试在内存中尽可能多地缓冲速度,因此更多内存总是好的:-)更大的问题是额外内核会给你带来什么好处。
答案 1 :(得分:1)
有许多表现领域。一个是核心数量。您拥有的核心越多,可以完成的并行工作就越多。这当然也取决于您如何构建包。某些对象是同步的,其他对象是异步内存也是一个因素,但它限制在100MB /数据流组件。