将数据从API终端节点提取到AWS

时间:2019-12-19 21:13:52

标签: amazon-web-services api aws-glue

因此,我是API的新手,并有一个用例,其中将订单历史记录存储到某个位置,并且供应商已将这些作为API端点公开(给定URL以及API密钥/参数等),我想拉这个数据并将其放入Redshift表中。我希望能够每天执行一份工作,并将当天的所有新订单提取到我的Redshift表中。

现在,我正在探索GLUE,因为它具有作业创建/计划功能,但是GLUE仅支持使用JDBC协议的少量数据源以及两个非本机数据源。我找不到特定于Glue从API端点提取数据的任何内容。我想看看,是否可以利用其他AWS服务来执行此活动(胶水/运动?)。对此的任何输入都将真正有用。 预先感谢。

1 个答案:

答案 0 :(得分:0)

有很多方法可以执行此操作,但是最胶合的方法可能是使用新的Amazon Athena Query Federation SDK创建自定义API数据源。这样,您就可以在AWS Glue目录中定义一个表,并像查询另一个表一样查询此API。但是,所有这些都处于预览状态,所有点可能尚未完全连接。因此,如果您唯一的用例是每天进行同步,那可能会比值得的麻烦更多。

Amazon Athena Query Federation SDK