使用Pentaho DI加入多个数据流

Question

pentaho的新手，我通过将数据过滤到多个流来计算此作业中的多个指标。

我已经验证了单个流，计算结果正常。

现在我想将它们加载到目标数据库，尝试使用Multiway join并不确定这是否是正确的组件但是它没有产生任何记录。

请建议采取适当措施来实现这一目标。我在这里附上了水壶文件。

谢谢！ DimLoad

Answer 1

好的，得到了​​改造。看了一会儿之后，我认为问题是流入Multiway Merge Join的每个流都需要通过连接键进行排序。实际上没有关于此步骤的文档，但它的工作方式与常规Merge Join步骤相同，只有两个以上的流，并且合并连接步骤需要排序输入。

仅供参考，Filter Rows步骤是性能杀手。如果你有一个很大的输入集，我会把第一个过滤器推到Table Input的select语句中。然后使用Switch/Case而不是13个不同的过滤行拆分其他行。如果整个表格中的每一行，您都会制作13份副本。