与缓存分配相关的Informatica分类器转换性能调整

时间:2017-08-31 09:33:20

标签: informatica informatica-powercenter informatica-powerexchange informatica-cloud bigdata

我面临着在Informatica PowerCenter

中进行分拣机转换的会话日志中缓存创建的警告
  

**会话日志中的警告。*   分拣机转换[HIGHYIELDSPRDDELTA]需要2遍排序(1遍临时I / O:23224320字节)。您可以尝试设置缓存大小   1-pass内存排序为30 MB或更高。

在网络上,人们建议计算文件中数据的大小,并在分类器转换的属性中对其进行硬编码,但这在我们的项目中是不可行的,如果数据大小增加映射,这种方法将不是动态方法会出错。

我想要一个动态解决方案来调整映射的性能,简而言之,我希望减少缓存文件创建的时间。请建议任何其他方法来调整映射

任何帮助都会表示赞赏。

2 个答案:

答案 0 :(得分:0)

此警告表示:由于给定的缓存/内存大小不足,所有给定的数据不能一次排序。数据将按细分排序,并相应地进行组合。某些时候您可能会遇到一些性能问题。最好的方法可能是:

  1. 如果您使用任何合理的数据库系统,请阅读已排序的数据,前提是您的业务逻辑不受影响。
  2. 增加缓存大小(而非自动)以处理最大可能数据。
  3. 希望这会有所帮助。

答案 1 :(得分:0)

听起来您没有将分拣机缓存大小设置为自动。请检查并修改。

查看以下链接

https://kb.informatica.com/h2l/HowTo%2520Library/1/0794-OptimizingSessionCachesInPowerCenter-H2L.pdf&ved=0ahUKEwio7dHIz4TWAhVGFMAKHVW_BOIQFgglMAA&usg=AFQjCNH7O6r7Tmdps2bgQll5qAjga-FgvQ

即。配置选项卡上的两个设置动态控制设置为自动缓存大小的所有转换之间共享的内存量

自动缓存属性允许的最大内存 自动内存属性允许的最大总内存百分比