Kettle使用Web服务步骤挂起帖子数据

时间:2015-03-03 10:26:54

标签: web-services etl kettle

我正在使用Kettle来批量加载数据,我在处理Web服务步骤时面临问题。根据检查,在成千上万的呼叫Web服务变得没有响应之后,只有时间计数器增加但没有进展。我可以注意到所有先前的步骤都已完成,转换仍停留在Web服务步骤。请寻找解决方案或解决方法以克服此问题。

1 个答案:

答案 0 :(得分:0)

我找到了解决这个问题的方法。网络服务步骤正在成为一个瓶颈步骤,因此需要对转换进行一些调整。我已按照以下链接找到解决方案:

http://type-exit.org/adventures-with-open-source-bi/2010/06/parallel-processing-in-pentaho-kettle-jobs/

现在已完成工作。只需在行集中设置“否”行即可处理瓶颈步骤以维护缓冲区。请参考瓶颈步骤中的屏幕截图和多个线程来克服它。

查看附带的屏幕截图。 Adjust no rows in rowset Job is done with better performance