排序时间过长的行

时间:2019-06-19 18:15:03

标签: pentaho pentaho-spoon pentaho-data-integration

我是Pentaho的新手。

以下转换似乎是正确的。

但是,要对行进行排序是永恒的:

enter image description here

这是步骤:

enter image description here

为什么要花这么长时间,我该如何改善呢?

这是合并连接2: e

3 个答案:

答案 0 :(得分:1)

我尝试使用排序的几种方法..希望这会有所帮助

  1. 使用“排序行”步骤上的“排序大小(行数)”设置来控制此设置。可用内存阈值(以%为单位)有助于避免填满可用内存。确保为PDI分配足够的RAM。
  2. 利用数据库将数据推送到暂存和排序并填充目标表,这在批处理方面很快。

答案 1 :(得分:0)

在转换属性(Ctrl + T或“视图”->“设置”)中尝试以下操作:

  • 在行集中设置更大的行行数
  • 设置更大的反馈大小
  • 取消选中“管理线程优先级?”

示例: Transformation properties

答案 2 :(得分:0)

步骤“合并join2”将“时间”步骤输入两次。由于“合并行2”中未将“排序行”定义为输入步骤,因此不会处理“排序行”中的记录。如果de buffer为10000,则“排序行”将停止写入“合并join2”。因此,“排序行”步骤将永远不会完成。