如何从 GCP DataFusion / CDAP 管道内执行多个 HTTP 调用

Question

我有一个 GCP 数据融合管道，我在其中对 API 执行 GET 请求，该请求返回一个包含用户 ID 的用户信息的 JSON 列表。我可以使用 Data Fusion HTTP 插件（在 Data Fusion HUB 中可用）成功完成此操作。以下是此类列表的示例：

[
{
  "id" : "adsa6d672",
  "firstName" : "John",
  "lastName" : "Doe"
},
{
  "id" : "adsa6d672",
  "firstName" : "John",
  "lastName" : "Doe"
}
]

基于此列表（我已成功解析），我想在另一个 API 上基于每个用户 ID 进行 HTTP 调用，而不是将其沉入数据库。有没有办法在单个 Data Fusion 管道上执行此操作（而不必为了执行一个 HTTP 请求而启动另一个管道？

我尝试使用 Data Fusion python 转换插件（在 HUB 中可用）并使用 python requests 库来执行 http 请求，但这最终导致错误，因为请求库未安装在运行转换插件的python解释器。

Answer 1

您是否尝试过使用 HTTP 接收器？从 Hub 中，您可以找到包含 HTTP 接收器的 HTTP 插件。