如何获取Informatica中大型数据集的行数?

时间:2018-07-17 21:03:24

标签: informatica informatica-powercenter

我正在尝试获取具有280个字段的数据集的行数,而不会影响性能。寻找最佳的表演方式。

3 个答案:

答案 0 :(得分:0)

避免性能问题的更好选择是使用排序器转换并对列进行排序,然后将管道传递给聚合器转换。在聚合器转换中,请检查选项排序输入。

如果您的来源是数据库,则在表中索引所需的条件列,并在需要时对表进行分区。

答案 1 :(得分:0)

对于您的解决方案,我有2个选择:

  1. 使用Aggregator(请记住使用预定义的顺序来提高下一个事务的性能),SQ> Aggregator> Target。在聚合器内部,使用sum()和/或count()函数添加新端口。记住要选择要分组的列

    查看以下示例: https://www.guru99.com/aggregator-transformation-informatica.html

  2. 使用源限定符查询替代。从数据库-SQ>目标中使用带有分组依据的传统选择计数/总和。

顺便说一句。 Informatica的性能非常好,它不仅需要查看正在处理的记录数量的列。最佳做法始终是比Infa应用程序更注重数据源/数据库。

此致

  • 胡安

答案 2 :(得分:-1)

如果只需要计算行数,请使用Aggregator。那就是它的目的。但是,这将创建缓存-要限制其大小,请使用单个端口。

为避免缓存,可以在表达式中使用变量,然后对其进行递增。但是,这将为您提供额外的列,其中所有行都编号,而不仅仅是单个值。您仍然需要对其进行汇总。在这里,可以使用不带函数的聚合器来仅返回最后一个值。