使用tRESTClient从分页API中提取数据

时间:2013-09-05 12:34:59

标签: json pagination talend

我需要使用Talend抓取包含offsetlimit参数的分页REST API。 API为我提供了我感兴趣的资源列表。

例如,对offset=0limit=2的初始请求的回复是:

{

    "meta": {
        "limit": 2,
        "next": "/api/v1/request/?offset=2&limit=2",
        "offset": 0,
        "previous": null,
        "total_count": 4300
    },
    "objects": [
        {
            "id": 1,
            "name": "foo"
        },
        {
            "id": 2,
            "name": "bar"
        }
    ]
}

如您所见,响应对象包含一个objects密钥,即一些所需资源和一个meta密钥,用于指示要查询的下一个URL:next。到目前为止,我能够使用tRESTClient执行初始请求。但是,我不知道如何从这里开始,并使用next提供的线索请求剩余的页面。

我如何对该API执行多个请求,以便遍历整个列表,直到next等于null(=列表已用完)?< /强>

我试图找出tSetGlobalVar和tLoop如何帮助我,但到目前为止还没有成功。但话说回来,我是Talend的新手。

当前工作

这就是我目前的工作:

Screenshot of the current job

0 个答案:

没有答案