在单个JVM上运行多个Kettle转换

时间:2016-02-08 17:34:15

标签: pentaho kettle pdi pentaho-spoon

我们想使用 pan.sh 来执行多个水壶转换。在浏览脚本后,我发现它在内部调用了在PDI中运行的 spoon.sh 脚本。现在的问题是每次新的转换开始时都会为它的执行创建一个单独的JVM(通过.bat文件调用),但是我想将它们分组以使用单个JVM来克服多个JVM对批处理的内存限制服务器。

有人可以指导我如何实现这一目标或与我分享文档/资源。

感谢您的出色工作。

1 个答案:

答案 0 :(得分:1)

使用Carte。这正是这个用途。您可以启动服务器(如果您愿意,可以在本地方框上),然后将作业提交给它。一个JVM,一个堆,共享资源。

这样做的好处就是可扩展性,所以当你的盒子变得太忙时,只需添加另一个盒子,也可以使用carte并开始将一些作业发送到另一台服务器。

这里有一个旧的但仍然是最新的博客:

http://diethardsteiner.blogspot.co.uk/2011/01/pentaho-data-integration-remote.html

和pentaho网站上的doco一样。

启动服务器非常简单:

carte.sh <hostname> <port>

还有一个状态页面,可用于查询您的carte服务器,因此如果您有一组服务器,您可以选择一个安静的服务器来发送您的作业。