如何使用pentaho数据集成工具通过分页从webservice检索数据?

时间:2016-08-11 06:43:16

标签: data-integration pentaho-spoon

我正在尝试使用其余客户端来查询Web服务以获取数据。流程如下:

  1. POST请求,返回游标ID(获取初始光标)
  2. 的查询
  3. 使用游标ID获取请求以检索第一批5000行
    • 除数据外,响应还包含下一个和上一个游标ID(Extract Cursor Id,用光标获取数据)
  4. 使用步骤2中请求的下一个光标来获取更多数据,可能还有另一个下一个光标。
  5. 如果响应中缺少下一个光标,则不再有可用的数据。
  6. 实现循环结构以保持检索数据直到下一个光标的最佳方法是什么?不可用?

    下面是我的转型图:

    Transformation Diagram

0 个答案:

没有答案